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REA KRSENKNMER , WEH 
津 大 学 网 络 学 院 互 联网 研究 所 治理 与 监管 专业 
教授 。 曾 任 哈 佛 大 学 肯尼迪 学 院 信息 监管 科研 
项 目 负责 人 ， 新 加 坡 国 立 大 学 信息 政策 研究 中 
心 主任 。 他 的 咨询 客户 包括 微软 、 惠 普 和 IBM 等 
全 球 顶 级 企业 。 他 是 欧盟 互联 网 官方 政策 背后 
真正 的 制定 者 和 参与 者 ， 还 先后 担任 新 加 坡 商 
务 部 高 层 、 文 某国 防 部 高 层 、 科 威 特 商 务 部 高 
层 、 迪 拜 及 中 东 政 府 高 层 的 智囊 . 


肯 尼 思 … E 
《经 济 学 人 》 数 据 编辑 ， 曾 任职 于 《华尔街 
日 报 》 (亚洲 版 ) 和 《国际 先驱 论坛 报 》. 


译 者 简介 
周 Hi 

电子 科技 大 学 互联 网 
科学 中 心 主任 、 教 授 、 博 
士 生 导 师 。 发 表 SCI 论 文 
150 余 篇 、 领 域 一 流 期 刊 
90 余 篇 ，SCI 引 用 超过 
2600% , Hig & 26. 
Google 引 用 超过 6000 次 ， 
第 五 届 中 国 青 少年 科技 创 
新 奖 和 第 十 二 届 中 国 青年 
FREE. 
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更 多 个 性 服务 ， 尽 在 湛 庐 微 信 平 人 台 


请 扫 二 维 码 或 查找 cheerspublishing 


AE MR 合 思 伯 格 
py A A 





《经 济 学 人 》 说 ， 在 大 数据 领域 ， 他 是 最 受 人 尊敬 的 权威 发 言 人 之 一 ， 

《科学 》 说 ， 若 要 发 起 一 场 关于 这 个 问题 的 深入 讨论 ， 没 有 比 他 更 好 的 发 起 者 了 。 
他 是 欧盟 互联 网 官方 政策 背后 的 重要 制定 者 与 参与 者 ; 

他 是 最 早 疯 见 大 数据 时 代 发 展 趋势 的 数据 科学 家 之 一 ， 

他 ， 就 是 维克托 , 迈 尔 - SARAR- 
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维克托 迈 尔 - 舍 恩 伯 格 二 十 多 年 来 一 直 
致力 于 网 络 经 济 、 信 息 与 创新 、 信 息 监管 
网 络 规范 与 战略 管理 的 研究 。 

从 维也纳 大 学 到 哈佛 大 学 ， 从 新 加 坡 国 立 
大 学 到 牛津 大 学 ， 世 界 上 最 著名 的 互联 网 
研究 学 府 都 留 下 了 他 的 足迹 。 辐 





人 是 哈佛 大 学 肯尼迪 学 院 信息 监管 科研 
项 目 负 责 人 ， 哈 佛 国家 电子 商务 研究 
中 心 网 络 监管 项 目 负 责 人 。 在 哈佛 大 学 任 
教 10 年 后 ， 2008 F, WERE, XE 
加 坡 国立 大 学 担任 信息 政策 研究 中 心 主任 ， 
以 绒 新 的 视角 洞察 亚洲 信息 政策 。 期 间 还 
FOE EBS RS. HELA. AHE 
大 学 、 芝 加 哥 大 学 、 维 也 纳 大 学 等 多 所 知 
名 学 府 的 客座 教授 。 


而 现在 ， 在 数据 信息 界 孜孜 不 倦 求索 
的 维克托 ， 是 世界 著名 学 府 牛津 大 学 网 络 
学 院 互联 网 研究 所 治理 与 监管 专业 教授 ， 
牛津 大 学 克 伯 学 院 教授 研究 员 。 法 学 、 信 
息 学 与 网 络 等 多 学 科 的 跨 界 融合 ， 让 他 不 


仅 拥有 严谨 的 思维 ， 更 拥有 广博 的 视野 。 
他 先后 有 100 多 篇 论文 公开 发 表 在 《科学 》 
《自然 >》 等 著名 学 术 期 刊 上 ， 同 时 也 是 多 
家 出 版 机 构 的 特约 评论 员 ， 包括 哈佛 大 学 
出 版 社 、 麻 省 理工 学 院 出 版 社 、 通 信 政 策 
期 刊 、 美 国 社会 学 期 刊 等 。 


开 大 数据 系统 研究 之 先河 
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他 说 ， 世 界 的 本 质 就 是 数据 ， 大 数据 将 开 
启 一 次 重大 的 时 代 转 型 ; 

他 说 ， 大 数据 发 展 的 核心 动力 来 产 于 人 类 
MS. IRMA TE A AS 

他 说 ， 从 因果 关系 到 相关 关系 的 思维 变革 
才 是 大 数据 的 关键 ， 建 立 在 相关 关系 分 析 
法 基础 上 的 预测 才 是 大 数据 的 核心 。 we 


NT 大 数据 还 在 众说 纷 颖 时 ， 维 殉 托 早已 

进行 了 系统 而 深入 的 研究 。 早 在 2010 
年 ， 他 已 经 在 《经 济 学 人 》 上 和 数据 编辑 
AUG + EHE, 发表 了 长 达 14 页 的 
大 数据 专题 文章 ， 成 为 最 早 洞 见 大 数据 时 
代 发 展 趋势 的 数据 科学 家 之 一 。 


从 大 数据 时 代 的 思维 变革 到 商业 变革 ， 
从 大 数据 时 代 的 隐忧 到 管理 变革 ， 他 在 大 
效 据 的 蓝 色 海洋 中 预见 了 正在 发 生 的 未 来 。 


大 数据 取舍 之 首 





维克托 的 继父 去 世 时 留 下 了 16000 张 收藏 
的 照片 ， 这 些 上 照片 都 是 他 几 十 年 来 周游 世 
需 时 的 影像 记录 。 

为 了 确定 哪些 照片 需要 保留 ， 维 克 托 制定 
了 两 条 规则 : 首先 ， 照 片上 有 认识 或 可 能 
认识 的 人 ; 其 次 ， sini Sse. 最终， 
他 只 留 下 了 53 张 照片 …… ME 





HW 人 生 的 片段 ， 让 他 开始 重 
新 思考 “被 遗 乐 的 权利 ”与 互联 时 代 
的 取舍 之 道 ， 并 最 终 成 就 了 他 的 《删除 > 
一 书 : “过 去 正 像 刺 青 一 样 被 刻 在 我 们 的 
PS SRE, REA KT Ib, TE 
忆 却 成 了 常态 ……” 大 数据 时 代 ， 人 类 了 又 
该 如 何 构 建 积极 而 安全 的 未 来 ? 


《删除 》 一 经 出 版 ， 印 获得 美国 政治 


科学 协会 颁发 的 “ 唐 . K 普 赖 斯 奖 ” 以 
及 媒介 环境 学 会 的 最 高 荣誉 “ 马 敬 尔 Z 
WAIK” , 同时 受到 《 连 线 》《 自 然 >《 华 
尔 街 日 报 》《 纽 约 时 报 》 等 各 大 权威 媒体 
的 广泛 好 评 。 


大 数据 商业 应 用 的 引路 人 





维克托 是 真正 的 实战 派 , 早 在 上 大 学 期 间 ， 
他 就 先后 创立 了 两 家 数据 安全 和 制作 反 病 
每 软件 的 公司 ， 并 担任 总 裁 兼 CEO. 

由 他 的 公司 开发 的 反 病 毒 程序 ， 一 经 推出 
即 一 跃 成 为 奥地利 当时 最 畅销 的 软件 产品 。 
1991 年 ， 他 跻身 奥地利 软件 企业 家 前 5 名 
之 列 ，2000 ERR J REFIRE RA EIN RIE 





ERM- RRA Res, E 
spur 与 商业 应 用 提供 强大 
的 理论 文 持 。 他 的 咨询 客户 包括 微软 、 惠 普 、 
IBM. E H i. facebook, twitter, VISA 等 
大 数据 先锋 们 ， 所 以 在 《大 数据 时 代 》 一 
BH, HARE See ae A. a BT AY KK 


据 应 用 案例 ， 并 对 大 数据 的 价值 链 与 角色 
定位 给 予 清晰 的 预见 。 


Ea 与 真正 的 “亚洲 通 ” 





他 是 欧盟 互联 网 官方 政策 首 后 真正 的 制定 
者 与 参与 者 ; 他 是 世 帘 经济 论坛 、 马 吹 尔 
计划 基金 会 等 重要 机 构 的 策略 顾问 ; 他 是 
众多 国家 政府 高 层 的 信息 政策 智囊 ， 包 拓 
sable ad Fis CHR FB BAT. far = 


Runes any 
CREAR, PORU 
i 





NVR EUR ABS IL ET 

业 的 发 展 与 战略 布局 ， 一 直 专 注 于 信 

娠 安全 、 信 息 政策 与 战略 的 研究 ， 先 后 担 

任 新 加 坡 商务 部 高 层 、 文 茉 国防 部 局 层 : 

科威特 商务 部 高 层 、 迪 和 拜 及 中 东 政 府 高 层 
的 咨询 顾问 。 


TEMA Ba GE EN A ERAGE, A 
是 参考 答案 一 样 ， 大 数据 正在 改变 我 们 的 生 
活 以 及 理解 世界 的 方式 ， 正 在 成 为 新 发 明 
和 新 服务 的 源 果 ， 而 维克托 + 还 尔 -EA 
伯 格 更 多 的 大 数据 人 研究 也 在 划 势 得 发 …… 
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拥 把 “大 数据 时 代 ” 


究 贡 资本 董事 长 ” 田 溯 宁 


从 硅谷 到 北京 ， 大 数据 的 话题 正在 被 传播 。 随 着 智能 手机 以 及 “可 佩带 ” 计 
算 设 备 的 出 现 ， 我 们 的 行为 、 位 置 ， 甚 至 身体 生理 数据 等 每 一 点 变化 都 成 为 了 可 
饼 记 录 和 分 析 的 数据 。 以 此 为 基础 , “反馈 经 济 ”( feedback economy ) 等 新 经 济 、 
新 商业 模式 也 正在 开始 形成 。 维 克 托 * 迈 尔 - 舍 恩 伯 格 教授 这 本 《大 数据 时 代 》， 
是 我 看 到 的 最 好 的 大 数据 著作 , 不 管 对 于 产业 实践 者 , 还 是 对 于 政府 和 公众 机 构 ， 
都 是 非常 具有 价值 的 。 


如 今 ， 一 个 大 规模 生产 、 分 享 和 应 用 数据 的 时 代 正 在 开启 。 正 如 维克托 教授 
所 说 , 大 数据 的 真实 价值 就 像 漂浮 在 海洋 中 的 冰山 ,第 一 眼 只 能 看 到 冰山 的 一 角 ， 
绝 大 部 分 都 隐藏 在 表面 之 下 。 而 发 掘 数据 价值 、 征 服 数据 海洋 的 “动力 ”就 是 去 
计算 。 互 联网 时 代 ， 尤 其 是 社交 网 络 、 电 子 商务 与 移动 通信 把 人 类 社会 带 入 了 一 
个 以 “PB”( 1 024TB ) 为 单位 的 结构 与 非 结 构 数 据 信息 的 新 时 代 。 在 云 计 算出 
现 之 前 ， 传 统 的 计算 机 是 无 法 处 理 如 此 量 大 、 并 且 不 规则 的 “ 非 结构 数据 ”的 。 





以 云 计算 为 基础 的 信息 存储 、 分 享 和 挖掘 手段 ， 可 以 便宜 、 有 效 地 将 这 些 大 量 、 
高 速 、 多 变化 的 终端 数据 存储 下 来 ， 并 随时 进行 分 析 与 计算 。 大 数据 与 云 计 算是 
一 个 问题 的 两 面 : 一 个 是 问题 ， 一 个 是 解决 问题 的 方法 。 通 过 云 计 算 对 大 数据 进 
行 分 析 、 预 测 ， 会 使 得 决策 更 为 精准 ， 释 放出 更 多 数据 的 隐藏 价值 。 数 据 ， 这 个 
21 世纪 人 类 探索 的 新 边疆 ， 正 在 被 云 计算 发 现 、 征 服 。 


《大 数据 时 代 》 列 举 了 众多 在 公共 卫生 、 商 业 服 务 领域 大 数据 变革 的 例子 。 
一 旦 “不 再 追求 精确 度 ， 不 再 追求 因果 关系 ， 而 是 承认 混杂 性 ， 探 索 相 天 天 系 ， 
“思维 转变 过 来 ， 数 据 就 能 被 巧妙 地 用 来 激发 新 产品 和 新 型 服务 。 数 据 正成 为 已 
大 的 经 济 资产 ， 成 为 新 世纪 的 矿产 与 石油 ， 将 带 来 全 新 的 创业 方向 、 商 业 模式 可 
投资 机 会 。 


庞大 的 人 群 和 应 用 市 场 ， 复 杂 性 高 、 充 满 变化 ， 使 得 中 国 成 为 世界 上 最 复杂 
的 大 数据 国家 。 解 决 这 种 由 大 规模 数据 引发 的 问题 ， 探 索 以 大 数据 为 基础 的 解决 
方案 ， 是 中 国产 业 升 级 、 效 率 提高 的 重要 手段 。 数 据 挖掘 不 仅 能 够 成 为 公司 竞争 
力 的 来 源 ， 也 将 成 为 国家 竞争 力 的 一 部 分 。 联 系 到 我 国 现代 化 所 面临 的 种 种 问题 
以 及 教育 、 交 通 、 医 疗 保健 等 各 方面 挑战 ， 通 过 大 数据 这 种 创新 方式 来 解决 问题 ， 
创建 新 的 产业 群 ， 实 现 “ 中 国 制 造 到 中 国 创造 ”的 改变 ， 意 义 就 更 大 。 


“大 数据 ”发 展 的 障碍 ， 在 于 数据 的 “流动 性 ”和 “可 获取 性 ”"。 半 国政 府 创 
建 了 Data.gov 网 站 ， 为 大 数据 敞开 了 大 门 ; 英国 、 印 度 也 有 “数据 公开 ”运动 。 
中 国 要 赶 上 这 样 一 场 大 数据 变革 ,各 界 应 该 首先 开始 尝试 公开 数据 、 方 陈 与 方法 。 
如 同 工 业 革命 要 开放 物质 交易 、 流 通 一 样 ， 开放 、 流 通 的 数据 是 时 代 趋 势 的 要 求 。 
《大 数据 时 代 》 一 书 也 提 到 了 数据 拥有 权 、 隐 私 性 保护 等 问题 ,但 相 比 较 来 看 ， 
新 科技 可 能 带 来 的 改变 要 远 远 大 于 其 存在 的 问题 。 


Il 


推荐 序 一 
拥抱 “大 数据 时 代 ” 


本 书 的 译 者 周涛 教授 是 我 国 最 年 轻 有 为 的 大 数据 专家 。 这 位 27 岁 的 天 才 型 
教授 , 数 年 来 一 直 带领 我 国学 术 界 在 大 数据 研究 上 向 国际 一 流 看 齐 。 更 可 贵 的 是 ， 
他 不 仅 做 研究 ， 也 关注 着 研究 成 果 的 商业 化 及 传播 。 这 部 译 著 就 是 他 这 种 努力 的 
一 个 成 果 。 

现代 历史 上 的 历次 技术 革命 ， 中 国 均 是 学 习 者 。 而 在 这 次 云 计算 与 大 数据 的 
新 变革 中 ， 中 国 与 世界 的 距离 最 小 ， 在 很 多 领域 甚至 还 有 着 创新 与 领先 的 可 能 。 
只 要 我 们 以 开放 的 心态 、 创 新 的 勇气 拥抱 “大 数据 时 代 "， 就 一 定 会 抓 住 历史 赋 
予 中 国 创新 的 机 会 。 | 
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BiG DATA 


A Revolution That 
Wit Transform How Vive Live. 
Wark, and Think 


推荐 序 二 


实 实在 在 大 数据 


中 国 互联 网 发 展 的 重要 参与 者 ， 知 名 IT 评论 人 WX 


因为 我 本 身 十 分 关注 大 数据 ， 也 写 过 若干 关于 大 数据 的 文章 ， 做 过 行 十 天 于 
大 数据 的 演讲 ， 所 以 对 有 关 这 一 主题 的 论文 和 书籍 非常 有 兴趣 。 过 去 几 年 ， 在 这 
方面 我 读 过 十 几 本 书 、 上 百 篇 论文 和 文章 。 相 对 而 言 ， 维 克 托 AR -ERA 
教授 的 《大 数据 时 代 》 是 迄今 为 止 我 读 过 的 最 好 的 一 本 专著 ， 中 英文 都 算 上 。 


此 书 的 一 大 贡献 就 是 在 大 数据 方兴未艾 、 众 说 纷 经 的 时 刻 ， 进 一 步 盖 述 和 尾 
清 了 大 数据 的 基本 概念 和 特点 ， 这 对 许多 以 为 大 数据 就 是 “数据 大 ”的 人 来 说 很 
有 帮助 。 


在 人 类 历史 长 河中 ， 即 使 是 在 现代 社会 日 新 月 异 的 发 展 中 ， 人 们 还 主要 是 依 
赖 抽样 数据 、 局 部 数据 和 片面 数据 ， 甚 至 在 无 法 获得 实证 数据 的 时 候 纯 粹 依赖 经 
验 、 理 论 、 假 设 和 价值 观 去 发 现 未 知 领域 的 规律 。 因 此 ， 人 们 对 世界 的 认识 往往 
是 表面 的 、 肤 浅 的 、 简 单 的 、 扭 曲 的 或 者 是 无 知 的 。 维 克 托 指出 ， 大 数据 时 代 的 
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来 临 使 人 类 第 一 次 有 机 会 和 条 件 ， 在 非常 多 的 领域 和 非常 深入 的 层次 获得 和 使 用 
全 面 数据 、 完 整数 据 和 系统 数据 ， 深 入 探索 现实 世界 的 规律 ， 获 取 过 去 不 可 能 获 
取 的 知识 ， 得 到 过 去 无 法 企及 的 商机 。 


大 数据 的 出 现 ， 使 得 通过 数据 分 析 获 得 知识 、 商 机 和 社会 服务 的 能 力 从 以 往 
局 限于 少数 象牙 塔 之 中 的 学 术 精 英 圈子 扩大 到 了 普通 的 机 构 、 企 业 和 政府 部 门 。 
门槛 的 降低 直接 导致 了 数据 的 容错 率 提高 和 成 本 的 降低 , 但 正如 维克托 所 强调 的 ， 
最 重要 的 是 人 们 可 以 在 很 大 程度 上 从 对 于 因果 关系 的 追求 中 解脱 出 来 ， 转 而 将 注 
意 力 放 在 相关 关系 的 发 现 和 使 用 上 。 只 要 发 现 了 两 个 现象 之 间 存 在 的 显著 相关 
性 ， 就 可 以 创造 巨大 的 经 济 或 社会 效益 ， 而 弄 清 二 者 为 什么 相关 可 以 留待 学 者 们 
慢 慢 研究 。 大 数据 之 所 以 可 能 成 为 一 个 “时 代 ”"， 在 很 大 程度 上 是 因为 这 是 一 个 
可 以 由 社会 各 界 广泛 参与 ， 八 面 出 击 ， 处 处 结果 的 社会 运动 ， 而 不 仅仅 是 少数 专 
家 学 者 的 研究 对 象 。 


大 数据 将 逐渐 成 为 现代 社会 基础 设施 的 一 部 分 ， 就 像 公 路 、 铁 路 、 港 口 、 水 
电 和 通信 网 络 一 样 不 可 或 缺 。 但 就 其 价值 特性 而 言 ， 大 数据 却 和 这 些 物 理化 的 基 
础 设施 不 同 ， 不 会 因为 人 们 的 使 用 而 折旧 和 贬值 。 例 如 ， 一 组 DNA 可 能 会 死亡 
RAK, RGEC DNA 却 会 永存 。 所 以 ， 维 克 托 赞同 许多 物理 学 家 的 看 法 ， 
世 从 的 本 质 就 是 数据 。 因 此 ， 大 数据 时 代 的 经 济 学 、 政 治学 、 社 会 学 和 许多 科学 
门类 都 会 发 生 巨 大 甚至 是 本 质 上 的 变化 和 发 展 ， 进 而 影响 人 类 的 价值 体系 、 知 识 
体系 和 生活 方式 。 哲 学 史上 争论 不 休 的 世界 可 知 论 和 不 可 知 论 将 会 转变 为 实证 科 
学 中 的 具体 问题 。 可 知性 是 绝对 的 ， 无 事 无 物 不 可 知 ; 不 可 知性 是 相对 的 ， 是 尚 
未 知道 的 意思 。 
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对 于 不 从 事 网 络 业 、IT 业 以 及 数据 分 析 和 使 用 的 读者 ， 本 书 的 一 大 好 处 就 是 
通俗 易 懂 ， 通 过 具体 实例 说 明 问 题 ， 有 助 于 人 们 的 理解 和 联想 。 在 时 限 上 ， 作 者 
概括 了 直到 2012 年 7 月 大 数据 方向 上 的 最 新 发 展 ， 避 免 了 许多 同类 作品 存在 的 
例证 过 于 陈旧 、 视 野 相 对 狭窄 的 毛病 。 


作为 一 位 生活 在 欧美 现代 社会 的 学 者 ， 维 克 托 是 把 民主 、 开 放 和 理性 作为 已 
知 前 提 来 讨论 大 数据 革命 的 。 这 对 生活 在 发 展 中 国家 ， 社 会 现代 化 程度 尚且 有 有限 
的 读者 来 说 ， 也 许 是 个 遗憾 ， 因 为 书 中 描述 的 许多 已 经 发 生 的 事例 可 能 更 像 是 神 
话 。 没 有 市 场 经 济 制 度 和 法 治 体系 作为 基础 支撑 ， 大 数据 很 可 能 成 为 发 达 国 家 在 
下 一 轮 全 球 化 竞争 中 的 利器 ， 而 发 展 中 国家 依然 处 于 被 动 依附 的 状态 之 中 。 整 个 
世界 可 能 被 割裂 为 大 数据 时 代 、 小 数据 时 代 和 无 数据 时 代 。 


处 于 发 展 中 国家 前 列 的 中 国 ， 目 前 正面 临 着 一 个 重大 的 历史 抉择 关口 。 应 该 
说 ， 在 过 去 的 三 十 余年 时 间 里 ， 中 国 在 快速 走向 工业 化 、 信 息 化 、 网 络 化 方面 交 
出 了 一 份 不 错 的 成 绩 单 。 如 今 适 逢 世界 走向 数据 化 ， 迈 入 大 数据 时 代 的 时 刻 ， 无 
论 对 个 人 、 企 业 还 是 对 社会 和 国家 ,都 有 认真 理解 、 严 肃 决 策 的 必要 性 和 紧迫 性 。 
哪怕 仅 从 这 一 点 考虑 ， 读 一 读 这 本 书 也 是 很 值得 的 。 
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接 下 翻译 这 本 《大 数据 时 代 》 的 任务 时 ， 我 的 目标 是 做 到 110% 的 好 。 因 为 
作者 维克托 * 迈 尔 -- 舍 恩 伯 格 毕竟 不 像 我 们 每 天 在 一 线 与 数据 万 杀 搏斗 ， 其 爱 其 
恨 都 更 深刻 。 特 别 地 ， 我 们 可 以 为 中 文 的 读者 补充 很 多 中 国 的 例子 和 参考 资料 。 
很 遗憾 ， 我 们 最 终 只 做 到 了 90%， 应 该 补充 的 一 些 材料 还 没有 整理 好 ， 遗 词 造句 
也 多 有 生硬 疏忽 之 处 。 如 果 再 给 我 一 个 月 的 时 间 ， 就 可 以 达到 我 预想 的 110% 其 
至 120%. 


为 什么 现在 把 这 个 版 本 呈现 给 诸位 呢 ? 一 是 因为 我 们 的 努力 使 得 本 书 中 译本 
的 出 版 和 英文 原版 完全 同步 ， 单 从 获取 知识 的 角度 讲 ， 我 们 一 点 儿 不 比美 国 的 读 


的 针 误 和 不 完美 ， 因 为 效率 可 能 更 加 重要 |! 留 下 一 些 可 供 提 高 的 地 方 ， 也 使 得 我 
们 的 每 一 次 印刷 ， 都 能 够 与 以 前 有 所 不 同 。 亲 ， 这 不 是 建议 你 等 到 某 个 更 好 的 版 
本 才 去 购买 ， 而 是 说 ， 其 实 你 应 该 每 个 版 本 都 买 一 本 : ) 


《大 数据 时 代 》 这 本 书 是 200% 的 好 ， 因 此 90% 的 译本 也 绝对 值得 一 读 。 首 





先 ， 作 者 抛 出 了 大 数据 时 代 处 理 数据 理念 上 的 三 大 转变 : 要 全 体 不 要 抽样 ， 要 效 
率 不 要 绝对 精确 ， 要 相关 不 要 因果 ; 接着 ， 从 万 事 万 物 数 据 化 和 数据 交叉 复 用 的 
巨大 价值 两 个 方面 ， 讲 述 驱 动 大 数据 战 车 在 材质 和 智力 方面 向 前 滚动 的 最 根本 动 
力 ; 最 后 ， 作 者 冷静 描绘 了 大 数据 帝国 前 夜 的 脆弱 和 不 安 ， 包 括 产 业 生态 环境 、 
数据 安全 隐私 、 信 息 公 正 公 开 等 问题 。 


国内 最 近 也 出 版 了 一 些 大 数据 方面 的 著作 ， 可 以 和 本 书 互 为 补充 。 郑 闹 的 
《证 析 》 对 于 数据 通过 交叉 复 用 体现 的 新 价值 、 大 数据 战略 在 企业 与 政府 执行 层 
面 的 流程 和 大 数据 科学 家 这 一 新 职位 ， 以 及 围绕 这 个 职位 的 能 力 和 责任 给 出 了 最 
深刻 、 最 具体 的 描述 ; 子 沛 的 《大 数据 》 对 于 数据 的 公正 性 、 公 平 性 以 及 信息 和 
数据 管理 等 方面 理念 、 政 策 和 执行 的 变化 ， 特 别 是 美国 在 这 方面 的 进展 ， 给 出 了 
完整 的 介绍 ; 苏 萌 、 林 森 和 我 合 著 的 《个 性 化 : 商业 的 未 来 》 则 对 大 数据 时 代 最 
重要 的 技术 、 个 性 化 技术 ， 以 及 与 之 相关 的 新 商业 模式 给 出 了 从 理念 到 技术 细节 
的 全 景 工笔 。 总 的 来 说 ， 这 三 本 书 都 针对 本 书 的 某 一 局 部 给 出 了 更 深刻 的 介绍 和 
洞 见 ， 也 各 有 了 明显 超出 本 书 的 优点 , 但 三 本 之 和 也 无 法 襄 括 本 书 的 普 华 ， 亦 缺乏 
本 书 的 宏大 视野 。 


简单 地 说 ， 这 本 书 好 在 三 个 地 方 : 


一 是 观点 掷地有声 ， 绝 非 主流 媒体 上 若干 讨论 的 简单 汇总 和 平均 ， 蝎 不 是 一 
个 宏大 概念 面前 暧昧 的 叫好 声 。 读 者 可 能 对 其 中 一 些 观点 并 不 认同 ， 但 是 读 完 之 
后 不 可 能 一 个 都 记 不 住 。 


二 是 观念 高 屋 建 领 ， 作 者 试图 从 很 多 实例 和 经 验 ， 包 括 历史 事件 中 蔡 取 出 普 
适 性 的 观念 ， 而 不 仅仅 是 适用 于 几 个 特定 情况 的 案例 分 析 。 
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三 是 例子 丰富 翔实 ， 不 长 的 篇 幅 包 括 了 上 百 个 学 术 和 商业 的 实例 。 


三 六 近乎 完美 地 结合 起 来 ， 体 现 了 作者 驾 驭 大 问题 的 能 力 和 丰富 的 知识 ， 以 
及 ， 可 能 更 为 重要 地 ， 作 者 渴求 立言 立 说 的 野心 ! 所 以 说 ， 这 本 书 绝对 不 是 一 堆 
枯燥 的 纲要 ， 更 不 是 一 本 巨 厚 的 杂志 。 


我 在 这 里 拼命 叫好 ， 是 为 了 这 本 书 卖 得 更 多 ， 但 不 代表 作者 的 所 有 观点 都 是 
绝对 真理 。 举 个 例子 ， 我 本 人 对 于 大 数据 时 代 “ 相 关 关 系 比 因果 关系 更 重要 ”这 
个 观 氮 就 不 认同 。 有 了 机 器 学 习 ， 特 别 是 集成 学 习 ， 我 们 解决 问题 的 方式 变 成 了 
训练 所 有 可 能 的 模型 和 拟 合 所 有 可 能 的 参数 一 一 问题 从 一 个 端口 进去 ， 答 案 从 另 
一 个 痛 口 出 来 ， 中 间 则 是 一 个 黑匣子 ， 因 为 没有 人 能 够 从 成 后 上 万 的 参数 拟 合 值 
里 血 读 到 “科学 ”"， 我 们 读 到 的 只 是 “计算 机 工程 ”"。 与 其 说 大 数据 让 我 们 重视 相 
关 胜 于 因果 ， 不 如 说 机 器 学 习 和 以 结果 为 导向 的 研究 思路 让 我 们 变 成 这 样 。 





那么 ， 大 数据 是 不 是 都 这 样 了 ? 其 实 很 多 时 候 恰 恰 相 反 。 想 想 瑞士 日 内 瓦 的 
弹子 对 撞 机 ， 我 们 在 上 面 捕 获 了 人 类 有 史 以 来 最 大 规模 的 单位 时 间 数 据 。 我 们 是 
布 望 找到 或 者 验证 某 种 相关 关系 吗 ? 不 是 ! 我 们 试图 回答 的 ， 正 是 人 类 所 能 问 出 
的 关于 因果 天 系 最 伟大 的 问题 : 希 格 斯 玻 色 子 是 否 存 在 ， 我们 的 宇宙 是 否 有 可 能 
用 标准 模型 刻画 。 这 个 问题 的 最 终 答案 ， 将 打破 人 和 神 的 界限 ! 认为 相关 重 于 因 
果 ， 是 茶 些 有 代表 性 的 大 数据 分 析 手 段 ( 璧 如 机 器 学 习 ) 里 面 内 豪 的 实用 主义 的 

影 ， 绝 非 大 数据 自身 的 诉求 。 从 小 处 讲 ， 作 者 试图 避免 的 “数据 的 独裁 ”和 
“ 销 误 的 前 提 导 致 错误 的 结论 " ， 其 解决 之 道 恰 在 于 挖掘 因果 逻辑 而 非 相 关 性 ;从 
大 处 讲 ， 放 人 弃 对 因果 性 的 追求 ， 就 是 放弃 了 人 类 凌驾 于 计算 机 之 上 的 智力 优势 ， 
是 人 类 目 喘 的 放纵 和 芥 落 。 如 果 未 来 某 一 天 机 器 和 计算 完全 接管 了 这 个 世界 ， 那 
么 这 种 放弃 就 是 末日 之 始 。 





JI © BAS ( Susan Langer ) 在 《哲学 新 视野 》 一 书 中 说 : 


某 些 观念 有 时 会 以 惊人 的 力量 给 知识 状况 带 来 巨大 的 冲击 。 由 
于 这 些 观 念 能 一 下 子 解决 许多 问题 ， 所 以 ， 它 们 似乎 将 有 希望 解决 
所 有 基本 问题 ， 澄 清 所 有 不 明了 的 疑点 。 每 个 人 都 想 迅速 地 抓 住 它 
们 ， 作 为 进入 某 种 新 实证 科学 的 法 宝 ， 作 为 可 以 用 来 建构 一 个 综合 
分 析 体 系 的 概念 轴 心 。 这 种 “宏大 概念 ' 突然 流行 起 来 ， 一 时 间 把 
几乎 所 有 的 东西 都 挤 到 了 一 边 。 
这 段 话 通常 被 认为 是 对 当时 “存在 主义 ”和 “精神 分 析 法 ”这 类 万 能 概念 的 
善意 批评 ， 而 如 今 特 别 适 合作 为 一 盆 冷 水 泼 在 那些 没有 任何 深刻 理解 ， 却 月 月 日 
日 分 分 秒 秒 穿 行 于 各 种 “大 数据 嘉年华 ”的 投资 人 、 媒 体 人 和 创业 者 身上 。 


布 望 《 大 数据 时 代 》 给 耶 各 位 的 是 一 些 实 实在 在 的 知识 和 思考 ， 并 且 唤 起 各 
位 安静 思索 相关 问题 的 心境 。 大 数据 是 一 个 很 重要 的 概念 , 代表 了 很 重要 的 趋势 ， 
但 我 不 布 望 它 成 为 一 种 放 之 四 海 缘 准 的 万 能 概念 一 一 因为 越 是 万 能 的 ， 就 越 是 空 
洞 的 ! 人 类 学 家 克利 福 德 * 吉尔 效 (Clifford Geertz ) 在 其 著作 《文化 的 解释 》 中 
曾 给 出 了 一 个 朴素 而 冷静 的 劝说 :“ 努 力 在 可 以 应 用 、 可 以 拓展 的 地 方 ， 应 用 它 、 
拓展 它 ， 在 不 能 应 用 、 不 能 拓展 的 地 方 ， 就 停 下 来 。 我 想 ， 这 应 该 是 所 有 人 面 
对 一 个 新 领域 或 新 概念 时 应 有 的 态度 。 


大 数据 的 道路 上 没有 戈 多 ， 我 们 已 经 在 路 上 ， 晃 晃 悠 您 。 人 类 的 自由 意志 和 请 
神 之 下 的 尊严 ， 会 在 这 条 道路 上 异化 甚至 消逝 吗 ? 极目 远 姚 ， 不 知道 世界 的 尽头 ， 
是 人 否 是 一 个 冷酷 的 仙境 ! 诸位 为 之 奋斗 吧 ， 而 我 只 想 ， 做 一 个 ， 麦 田 里 的 守望 者 。 


以 为 序 。 
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引 _ 言 
一 场 生活 、 工 作 与 思维 的 大 变革 001 

大 数据 开启 了 一 次 重大 的 时 代 转 型 。 就 像 望 远 镜 让 我 
们 能 够 感受 宇宙 ， 显 微 镜 让 我 们 能 够 观测 微生物 一 样 ， 大 
数据 正在 改变 我 们 的 生活 以 及 理解 世界 的 方式 ， 成 为 新 发 
明和 新 服务 的 源泉 ， 而 更 多 的 改变 正 攻势 待 发 ……: 

大 数据 ， 变 革 公 共 卫 生 

大 数据 ， 变 革 商 业 

大 数据 ， 变 革 思 维 

大 数据 ， 开 启 重大 的 时 代 转 型 

预测 ， 大 数据 的 核心 

大 数据 ， 大 挑战 





A Revolution That 
Witt Transform How We Live, 
Work, and Think 


大 数据 时 代 


第 一 部 分 “大 数据 时 代 的 思维 变革 






027 


sl. 


当 数 据 处 理 技术 已 经 发 生 了 翻天 覆 地 的 变化 时 ， 在 大 
数据 时 代 进 行 抽样 分 析 就 像 在 汽车 时 代 骑 马 一 样 。 一 切 都 
改变 了 ， 我 们 需要 的 是 所 有 的 数据 ，“" 样 本 = MAK". 

让 数据 “发 声 ” 

小 数据 时 代 的 随机 和 采样， 最 少 的 数据 获得 最 多 的 信息 

全 数据 模式 ， 样 本 = 总 体 
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执 迷 于 精确 性 是 信息 缺乏 时 代 和 模拟 时 代 的 产物 。 只 
有 5% 的 数据 是 有 框架 且 能 适用 于 传统 数据 库 的 。 如 果 不 
接受 混乱 ， 剩 下 95% 的 非 框架 数据 都 无 法 被 利用 ， 只 有 接 
受 不 精确 性 ， 我 们 才能 打开 一 扇 从 未 涉足 的 世界 的 窗户 。 


允许 不 精确 

大 数据 的 简单 算法 比 小 数据 的 复杂 算法 更 有 效 
纷繁 的 数据 越 多 越 好 

混杂 性 ， 不 是 竭力 避免 ， 而 是 标准 途径 

新 的 数据 库 设计 的 诞生 
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更 好 
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知道 “是 什么 ”就 够 了 ， 没 必要 知道 “为 什么 "。 在 大 
数据 时 代 ， 我 们 不 必 非 得 知道 现象 背后 的 原因 ， 而 是 要 让 
数据 自己 “发 声 "。 
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关联 物 ， 预测 的 关键 

“ETA”, MARR “ATA” 
改变 ， 从 操作 方式 开始 

大 数据 ， 改 变 人 类 探索 世界 的 方法 


第 二 部 分 “大 数据 时 代 的 商业 变 单 





大 数据 发 展 的 核心 动力 来 源 于 人 类 测量 、 记 录 和 分 析 
世界 的 渴望 。 信 息 技术 变革 随处 可 见 ， 但 是 如 今 信息 技术 
PENS Ae “T" (RAR) 上 ,而 不 是 在 “I”( 信息 ) Eo 
现在 ,我 们 是 时 候 把 聚 关 灯 亲 向 “1"， 开 始 关 注 信息 本 身 了。 


数据 ， 从 最 不 可 能 的 地 方 提取 出 来 
数据 化 ， 不 是 数字 化 

量化 一 切 ， 数 据 化 的 核心 

当 文字 变 成 数据 

当 方位 变 成 数据 

当 沟通 成 为 数据 

一 切 事物 的 数据 化 


价值 
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数据 就 像 一 个 神奇 的 杀 石 矿 ， 当 它 的 首要 价值 被 发 掘 
后 仍 能 不 断 给 予 。 它 的 真实 价值 就 像 漂浮 在 海洋 中 的 冰山 ， 
第 一 眼 只 能 看 到 冰山 的 一 角 ， 而 绝 大 部 分 都 隐藏 在 表面 
之 下 。 

数据 创新 1: 数据 的 再 利用 
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A Reventon Trat 
Will Transform How We Love, 
York, ang Think 


大 数据 时 代 


数据 创新 2: 重组 数据 
数据 创新 3: 可 扩展 数据 
数据 创新 4: 数据 的 折旧 值 
数据 创新 5: 数据 废气 
数据 创新 6: 开放 数据 

给 数据 佑 值 


角色 定位 
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微软 以 1.1 亿美 元 的 价格 购买 了 大 数据 公司 Farecast, 
而 两 年 后 谷歌 则 以 7 亿美 元 的 价格 购买 了 给 Farecast 提供 
数据 的 ITA Software 公司 。 如 今 ， 我 们 正 处 在 大 数据 时 代 
的 早期 ， 思 维和 技术 是 最 有 价值 的 ， 但 是 最 终 大 部 分 的 价 
值 还 是 必须 从 数据 本 身 来 挖掘 。 


大 数据 价值 链 的 3 大 构成 

大 数据 掌控 公司 

大 数据 技术 公司 

大 数据 思维 公司 和 个 人 

全 新 的 数据 中 间 商 

专家 的 消 工 与 数据 科学 家 的 崛起 
大 数据 ， 决 定 企业 的 竞争 力 


第 三 部 分 “大 数据 时 代 的 管理 变 音 
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我 们 时 刻 都 暴露 在 “ 
我 们 的 购物 习惯 ,谷歌 着 监视 我 们 的 网 页 浏览 习惯 ,而 微 
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博 似 乎 什么 都 知道 ， 不 仅 窃 听 到 了 我 们 心中 的 “TA"”， 还 
有 我 们 的 社交 关系 网 。 


无 处 不 在 的 “第 三 只 眼 ” 

我 们 的 隐私 被 二 次 利用 了 

预测 与 惩罚 ， 不 是 因为 “所 做 "， 而 是 因为 “将 做 ” 
数据 独裁 

挣脱 大 数据 的 困境 


当世 界 开始 迈 向 大 数据 时 代 时 ， 社 会 也 将 经 历 类 似 的 
地 元 运动。 在 改变 人 类 基本 的 生活 与 思考 方式 的 同时 ， 大 
效 据 早已 在 推动 人 类 信息 管理 准则 的 重新 定位 。 然 而 ， 不 
同 于 印刷 革命 ， 我 们 没有 几 个 世纪 的 时 间 去 适应 ， 我 们 也 
许 只 有 几 年 时 间 。 


管理 变革 1: 个 人 隐私 保护 ， 从 个 人 许可 到 让 数据 
使 用 者 承担 责任 

管理 变革 2: 个 人 动因 VS 预测 分 析 

管理 变革 3: 击 碎 黑 盒 子 ， 大 数据 程序 员 的 崛起 

管理 变革 4: 反 数 据 垄 断 大 享 


结 语 
正在 上 友 生 的 未 来 ”233 

大 数据 并 不 是 一 个 充斥 着 算法 和 机 器 的 冰冷 世界 ， 人 
类 的 作用 依然 无 法 被 完全 替代 。 大 数据 为 我 们 提供 的 不 是 
最 终 答 案 ， 只 是 参考 答案 ， 帮 助 是 暂时 的 ， 而 更 好 的 方法 
和 答案 还 在 不 久 的 未 来 。 
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引言 
一 场 生活 、 工 作 与 思维 的 大 变 车 


大 数据 开局 了 一 次 重大 的 时 代 转 型 。 就 像 望 远 镜 
让 我 们 能 够 感受 宇 守 ， 显 微 镜 让 我 们 能 够 观测 征 
生物 一 样 ， 大 数据 正在 改变 我 们 的 生活 以 及 理解 
世界 的 方式 ， 成 为 新 发 明和 新 服务 的 源 果 ， 而 更 
ZB AN ACR IE BAC 


【 大 数据 先锋 】 

谷歌 搜索 与 流感 预测 
Farecast 与 飞机 票 价 预测 系统 
天 文学 ， 信 息 爆 炸 的 起 源 








大 数据 ， 变 革 公 共 卫 生 


2009 年 出 现 了 一 种 新 的 流感 病毒 。 这 种 甲 型 HIN1 流感 结合 了 导致 会 流 
感 和 猪 流感 的 病毒 的 特点 ， 在 短 短 几 周 之 内 迅速 传播 开 来 。 全 球 的 公共 卫生 
机 构 都 担心 一 场 致命 的 流行 病 即 将 来 做。 有 的 评论 家 甚至 警告 说 ， 可 能 会 爆 
发 大 规模 流感 ， 类 似 于 1918 年 在 西班牙 爆发 的 、 影 响 了 5 亿 人 口 并 夺 走 了 数 
于 万 人 性 命 的 大 规模 流感 。 更 糟糕 的 是 ， 我 们 还 没有 研发 出 对 抗 这 种 新 型 流 
感 病毒 的 疫苗 。 公 共 卫 生 专 家 能 做 的 只 是 减 慢 它 传播 的 速度 。 但 要 做 到 这 一 
点 ， 他 们 必须 先知 道 这 种 流感 出 现在 哪里 。 


美国 ， 和 所 有 其 他 国家 一 样 ， 都 要 求 医生 在 发 现 新 型 流感 病例 时 告知 疾 
病 控 制 与 预防 中 心 (CDC )。 但 由 于 人 们 可 能 患 病 多 日 实在 受 不 了 了 才 会 去 
医院 ， 同 时 这 个 信息 传达 回 疾 控 中 心 也 需要 时 间 ， 因 此 ， 通 告 新 流感 病例 时 
往往 会 有 一 两 周 的 延迟 。 而 且 ， 疾 控 中 心 每 周 只 进行 一 次 数据 汇总 。 然 而 ， 
对 于 一 种 飞速 传播 的 疾病 ， 信 息 浪 后 两 周 的 后 果 将 是 致命 的 。 这 种 滞后 导致 
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一 场 生活 、 工 作 与 思维 的 大 变革 


公共 卫生 机 构 在 疫情 爆发 的 关键 时 期 反而 无 所 适 从 。 


在 甲 型 HINI 流感 爆发 的 几 周 前 ,互联 网 巨头 谷歌 公司 的 工程 师 们 在 《 自 
然 》 杂 志 上 发 表 了 一 篇 引 人 注 目的 论文 。 它 令 公 共 卫 生 官 员 们 和 计算 机 科学 
家 们 感到 震惊 。 文 中 解释 了 谷歌 为 什么 能 够 预测 冬季 流感 的 传播 : 不 仅 是 全 
美 范围 的 传播 ， 而 且 可 以 具体 到 特定 的 地 区 和 州 。 谷 歌 通过 观察 人 们 在 网 上 
的 搜索 记录 来 完成 这 个 预测 ， 而 这 种 方法 以 前 一 直 是 被 忽略 的 。 谷 歌 保存 了 
多 年 来 所 有 的 搜索 记录 ,而 且 每 天 都 会 收 到 来 自 全 球 超过 30 亿 条 的 搜索 指令 ， 
如 此 庞大 的 数据 资源 足以 支撑 和 帮助 它 完成 这 项 工作 。 


发 现 能 够 通过 人 们 在 网 上 检索 的 词 条 辨别 出 其 是 否 感染 了 流感 后 ， 谷 歌 
公司 把 5 000 万 条 美国 人 最 频繁 检索 的 词 条 和 美国 疾 控 中 心 在 2003 年 至 2008 
年 间 季 节 性 流感 传播 时 期 的 数据 进行 了 比较 。 其 他 公司 也 曾 试图 确定 这 些 相 
天 的 词 条 ， 但 是 他 们 缺乏 像 谷歌 公司 一 样 庞 大 的 数据 资源 、 处 理 能 力 和 统计 
技术 。 

虽然 谷歌 公司 的 员工 猜测 ， 特 定 的 检索 词 条 是 为 了 在 网 络 上 得 到 关于 流 
感 的 信息 ， 如 “哪些 是 治疗 咳嗽 和 发 热 的 药物 ”， 但 是 找 出 这 些 词 条 并 不 是 重 
尽 ， 他 们 也 不 知道 哪些 词 条 更 重要 ， 更 关键 的 是 ， 他 们 建立 的 系统 并 不 依赖 
于 这 样 的 二 义理 解 。 他 们 设立 的 这 个 系统 唯一 关注 的 就 是 特定 检索 词 条 的 频 
泽 使 用 与 流感 在 时 间 和 空间 上 的 传播 之 间 的 联系 。 谷 歌 公司 为 了 测试 这 些 检 
RER, ARAT 4.5 亿 个 不 同 的 数字 模型 。 在 将 得 出 的 预测 与 2007 年 、 
2008 年 美国 疾 控 中 心 记录 的 实际 流感 病例 进行 对 比 后 ， 谷 歌 公司 发 现 ， 他 们 
的 软件 发 现 了 45 条 检索 词 条 的 组 合 ， 一 旦 将 它们 用 于 一 个 数学 模型 ， 他 们 的 
预测 与 官方 数据 的 相关 性 高 达 97%。 和 疾 控 中 心 一 样 ， 他 们 也 能 判断 出 流感 
是 从 哪里 传播 出 来 的 ， 而 且 他 们 的 判断 非常 及 时 ， 不 会 像 疾 控 中 心 一 样 要 在 
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大 数据 时 代 


流感 爆发 一 两 周 之 后 才 可 以 做 到 。 


所 以 ，2009 年 甲 型 HIN] 流感 爆发 的 时 候 ， 与 习惯 性 沛 后 的 官方 数据 相 
比 ， 谷 歌 成 为 了 一 个 更 有 效 、 更 及 时 的 指示 标 。 公 共 卫 生机 构 的 官员 获得 了 
非常 有 价值 的 数据 信息 。 惊 人 的 是 ， 谷 歌 公 司 的 方法 甚至 不 需要 分 发 口腔 试 
纸 和 联系 医生 一 一 它 是 建立 在 大 数据 的 基础 之 上 的 。 这 是 当今 社会 所 独 有 的 
一 种 新 型 能 力 : 以 一 种 前 所 未 有 的 方式 ， 通 过 对 海量 数据 进行 分 析 ， 获 得 有 已 
大 价值 的 产品 和 服务 ， 或 深刻 的 洞 见 。 基 于 这 样 的 技术 理念 和 数据 储备 ， 下 一 
次 流感 来 袭 的 时 候 ， 世 界 将 会 拥有 一 种 更 好 的 预测 工具 ， 以 预防 流感 的 传播 。 


大 数据 ， 变 音 商 业 


大 数据 不 仅 改 变 了 公共 卫生 领域 ， 整 个 商业 领域 都 因为 大 数据 而 重新 洗 
牌 。 购 买 飞机 票 就 是 一 个 很 好 的 例子 。 


2003 年 ， 奥 伦 . 埃 齐 奥 尼 (Oren Etzioni ) 准备 乘坐 从 西雅图 到 洛杉矶 的 
飞机 去 参加 弟弟 的 婚礼 。 他 知道 飞机 票 越 早 预订 越 便宜 ， 于 是 他 在 这 个 大 豆 
日 子 来 临 之 前 的 几 个 月 ， 就 在 网 上 预订 了 一 张 去 洛杉矶 的 机 票 。 在 飞机 上 ， 
埃 齐 奥 尼 好 奇 地 问 邻 座 的 乘客 花 了 多 少 钱 购买 机 票 。 当 得 知 虽 然 那 个 人 的 机 
票 比 他 买 得 更 晚 ， 但 是 票 价 却 比 他 便宜 得 多 时 ， 他 感到 非常 气愤 。 于 是 ， 他 
又 询问 了 男 外 几 个 乘客 ,结果 发 现 大 家 买 的 票 拓 然 都 比 他 的 便宜 。 


对 大 多 数 人 来 说 ， 这 种 被 敲 竹 杠 的 感觉 也 许 会 随 看 他 们 走 下 飞机 而 消失 。 
然而 ， 埃 齐 奥 尼 是 美国 最 有 名 的 计算 机 专家 之 一 ， 从 他 担任 华 辟 顿 大 学 人 工 
智能 项 目的 负责 人 开始 ， 他 创立 了 许多 在 今天 看 来 非常 典型 的 大 数据 公司 ， 
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一 场 生活 、 工 作 与 思维 的 大 变 章 


而 那 时 候 还 没有 人 提出 “大 数据 ”这 个 概念 。 


1994 年 ， 埃 齐 奥 尼 帮 助 创 建 了 最 早 的 互联 网 搜索 引擎 MetaCrawler， 该 
引擎 后 来 被 InfoSpace 公司 收购 。 他 联合 创立 了 第 一 个 大 型 比价 网 站 Netbot， 
后 来 把 它 卖 给 了 Excite 公司 。 他 创立 的 从 文本 中 挖掘 信息 的 公司 ClearForest 
则 被 路 透 社 收购 了 。 在 他 眼中 ， 世 界 就 是 一 系列 的 大 数据 问题 ， 而 且 他 认为 
他 有 能 力 解决 这 些 问 题 。 作 为 哈佛 大 学 首届 计算 机 科学 专业 的 本 科 毕 业 生 ， 
A 1986 年 毕业 以 来 ， 他 也 一 直 致 力 于 解决 这 些 问题 。 


飞机 着 陆 之 后 ， 埃 齐 奥 尼 下 定 决 心 要 帮助 人 们 开发 一 个 系统 ， 用 来 推测 
当前 网 页 上 的 机 票 价格 是 否 合理 。 作 为 一 种 商品 ， 同 一 架 飞 机 上 每 个 座位 的 
价格 本 来 不 应 该 有 差别 。 但 实际 上 ， 价 格 却 千差万别 ， 其 中 绿 由 只 有 航空 公 
A) A OY 


埃 齐 奥 尼 表 示 ， 他 不 需要 去 解 开 机 票 价 格 差异 的 奥秘 。 他 要 做 的 仅仅 是 
预测 当前 的 机 票 价格 在 未 来 一 段 时 间 内 会 上 涨 还 是 下 降 。 这 个 想法 是 可 行 的 ， 
但 操作 起 来 并 不 是 那么 简单 。 这 个 系统 需要 分 析 所 有 特定 航线 机 票 的 销售 价 
格 并 确定 票 价 与 提前 购买 天 数 的 关系 。 


如 果 一 张 机 票 的 平均 价格 呈 下 降 趋 势 ， 系 统 就 会 帮助 用 户 做 出 稍 后 再 购 
票 的 明智 选择 。 反 过 来 ， 如 果 一 张 机 票 的 平均 价格 呈 上 涨 趋势 ， 系 统 就 会 提 
醒 用 户 立 刻 购 买 该 机 票 。 换 言 之 ， 这 是 埃 齐 奥 尼 针 对 9 000 米 高 空 开 发 的 一 
个 加 强 版 的 信息 预测 系统 。 这 确实 是 一 个 浩大 的 计算 机 科学 项 目 。 不 过 ， 这 
个 项 目 是 可 行 的 。 于 是 ， 埃 齐 奥 尼 开 始 着 手 局 动 这 个 项 目 。 


埃 齐 奥 尼 创 立 了 一 个 预测 系统 ， 它 帮助 虚拟 的 乘客 扩 省 了 很 多 钱 。 这 个 
预测 系统 建立 在 41 天 内 价格 波动 产生 的 12 000 个 价格 样本 基础 之 上 ， 而 这 
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些 信息 部 是 从 一 个 旅游 网 站 上 搜集 来 的 。 这 个 预测 系统 并 不 能 说 明 原 因 ， 只 
能 推测 会 发 生 什么 。 也 就 是 说 ， 它 不 知道 是 哪些 因素 导致 了 机 票 价格 的 波动 。 
机 票 降价 是 因为 很 多 没 卖 掉 的 座位 、 季 节 性 原因 ， 还 是 所 谓 的 周 六 晚上 不 出 
门 ， 它 都 不 知道 。 这 个 系统 只 知道 利用 其 他 航班 的 数据 来 预测 未 来 机 票 价格 
的 走 努 。“ 飞 还 是 不 灭 ， 这 是 一 个 问题 。” 埃 齐 奥 尼 沉 思 着 。 他 给 这 个 研究 项 
目 取 了 一 个 非常 贴切 的 名 字 ， 叫 “哈姆雷特 ”。 


这 个 小 项 目 逐 渐 发 展 成 为 一 家 得 到 了 风险 投资 基金 支持 的 科技 创业 公 
司 ， 名 为 Farecast。 通 过 预测 机 票 价格 的 走势 以 及 增 降 幅度 ，Farecast 票 价 预 
测 工具 能 帮助 消费 者 抓 住 最 佳 购买 时 机 ， 而 在 此 之 前 还 没有 其 他 网 站 能 让 消 
费 者 获得 这 些 信 息 。 


这 个 系统 为 了 保障 目 身 的 透明 度 ， 会 把 对 机 票 价格 走势 预测 的 可 信和 度 标 
不 出 来 ， 供 消费 者 参考 。 系 统 的 运转 需要 海量 数据 的 支持 。 为 了 提高 预测 的 
准确 性 ， 埃 齐 奥 尼 找 到 了 一 个 行业 机 票 预订 数据 库 。 有 了 这 个 数据 库 ， 系 统 
进行 预测 时 ， 预 测 的 结果 就 可 以 基于 美国 商业 航空 产业 中 ， 每 一 条 航线 上 每 
一 染 飞 机 内 的 每 一 个 座位 一 年 内 的 综合 票 价 记录 而 得 出 。 如 今 ，Farecast 已 
经 拥有 惊人 的 约 2 000 亿 条 飞行 数据 记录 。 利 用 这 种 方法 ，Farecast 为 消费 者 
节省 了 一 大 笔 钱 。” 


柠 色 的 头发 ， 露 齿 的 笑容 ， 无 牙 的 面孔 ， 这 就 是 奥 伦 * 埃 齐 奥 尼 。 他 看 


上 去 完全 不 像 是 一 个 会 让 航空 业 损失 数 百 万 潜在 收入 的 人 。 但 事实 上 ， 他 的 

目光 放 得 更 长 远 。2008 年 ， 埃 齐 奥 尼 计 划 将 这 项 技术 应 用 到 其 他 领域 ， 比 如 

O 有 趣 的 是 ， 这 些 飞 行 记录 和 谷歌 的 搜索 记录 一 样 ， 也 可 以 用 来 预测 和 评估 疾病 的 流行 。 有 
兴趣 的 读者 可 以 参考 2010 年 第 12 期 《科学 通报 》 上 名 为 “HIN1 甲 型 流感 全 球 航 空 传播 与 
早期 预警 研究 ”的 研究 论文 。 一 一 译 者 注 
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一 场 生活 、 工 作 与 思维 的 大 变 章 


宾馆 预订 、 二 手 车 购买 等 。 只 要 这 些 领 域内 的 产品 差异 不 大 ， 同 时 存在 大 幅 
度 的 价格 差 和 大 量 可 运用 的 数据 ， 就 都 可 以 应 用 这 项 技术 。 但 是 在 他 实现 计 
划 之 前 ,微软 公司 找 上 了 他 并 以 1.1 亿美 元 的 价格 收购 了 Farecast 公司 。 而 后 ， 
这 个 系统 被 并 入 必 应 搜索 引擎 。 


到 2012 年 为 止 ，Farecast RRA THETA 大 数据 的 力量 
亿 条 价格 记录 来 帮助 预测 美国 国内 航班 的 标价。 BIG DATA 
Farecast 票 价 预测 的 准确 度 已 经 高 达 75% ， 使 用 es ten : 
Farecast 票 价 预测 工具 购买 机 票 的 旅客 ， 平 均 每 张 | te 
机 票 可 市 管 50 美元 。 





Farecast 是 大 数据 公司 的 一 个 缩影 ， 也 代表 了 当今 世界 发 展 的 趋势 。 五 
年 或 者 十 年 之 前 ， 奥 伦 : 埃 齐 奥 尼 是 无 法 成 立 这 样 的 公司 的 。 他 说 :“ 这 是 不 
可 能 的 。” 那 时 候 他 所 需要 的 计算 机 处 理 能 力 和 存储 能 力 太 昂贵 了 ! 虽说 技术 
上 的 突破 是 这 一 切 得 以 发 生 的 主要 原因 ， 但 也 有 一 些 细微 而 重要 的 改变 正在 
发 生 ， 特 别 是 人 们 关于 如 何 使 用 数据 的 理念 。 


大 数据 ， 变 音 思 维 


人 们 不 再 认为 数据 是 静止 和 陈旧 的 。 但 在 以 前 ， 一 旦 完成 了 收集 数据 的 
目的 之 后 ， 数 据 就 会 被 认为 已 经 没有 用 处 了 。 比 方 说 ， 在 飞机 降落 之 后 ， 票 
价 数据 就 没有 用 了 (对 谷歌 而 言 ， 则 是 一 个 检索 命令 完成 之 后 )。” 

D 设计 人 员 如 果 没 有 大 数据 的 理念 ， 就 会 丢失 掉 很 多 有 价值 的 数据 。 壁 如 中 国 某 城市 的 公交 


车 因为 价格 不 依赖 于 起 点 和 终点 ， 所 以 能 够 反映 重要 通勤 信息 的 数据 被 工作 人 员 “ 自 作 主 
张 ” HWER T. 一 一 译 者 注 
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A Revolution That | 济 投入 ， 可 以 创造 新 的 经 济 利益 。 事 实 上 ， 一 旦 思维 转变 


Wil Tansionr How We Live, 






Work, and Think 过 来 ， 数 据 就 能 被 巧妙 地 用 来 激发 新 产品 和 新 型 服务 。 数 
大 数据 洞察 据 的 奥妙 只 为 谦 还 、 愿 意 聆听 且 掌 握 了 聆听 手段 的 人 所 知 。 


信息 社会 所 带 来 的 好 处 是 显而易见 的 : 每 个 人 口袋 里 部 撕 有 一 部 手机 ， 
每 台 办 公 果 上 都 放 有 一 台电 脑 ， 每 间 办 公 室 内 虱 拥 有 一 个 大 型 局 域 网 。 但 是 ， 
信息 本 喘 的 用 处 却 并 没有 如 此 引 人 注 目 。 半 个 世纪 以 来 ， 随 痢 计算 机 技术 全 
面 融 入 社会 生活 ， 信 息 爆 炸 已 经 积累 到 了 一 个 开始 引发 变 单 的 程度 。 它 不 仅 
使 世界 充斥 着 比 以 往 更 多 的 信息 ， 而 且 其 增长 速度 也 在 加 快 。 信 息 总 量 的 变 
化 还 导致 了 信息 形态 的 变化 一 一 量变 引发 了 质变 。 最 先 经 历 信息 爆炸 的 学 科 ， 
如 天 文学 和 基因 学 ， 创 造 出 了 “大 数据 ”这 个 概念 ”。 如 今 ， 这 个 概念 几乎 
应 用 到 了 所 有 人 类 致力 于 发 展 的 领域 中 。 





大 数据 并 非 一 个 确切 的 概念 。 最 初 ， 这 个 概念 是 指 需要 处 理 的 信息 量 
过 大 ,已 经 超出 了 一 般 电脑 在 处 理 数 据 时 所 能 使 用 的 内 存量 ， 因 此 工程 师 
们 必须 改进 处 理 数据 的 工具 。 这 导致 了 新 的 处 理 技术 的 诞生 ， 例 如 谷歌 的 
MapReduce 和 开源 Hadoop 平台 (最初 源 于 雅虎 )。 这 些 技术 使 得 人 们 可 以 处 
理 的 数据 量 大 大 增加 。 更 重要 的 是 ， 这 些 数据 不 再 需要 用 传统 的 数据 库 表 格 
来 整齐 地 排列 一 一 一 些 可 以 消除 僵化 的 层次 结构 和 一 致 性 的 技术 也 出 现 了 。 
同时 ， 因 为 互联 网 公司 可 以 收集 大 量 有 价值 的 数据 ， 而 且 有 利用 这 些 数 据 的 
强烈 的 利益 驱动 力 ， 所 以 互联 网 公司 就 顺理成章 地 成 为 最 新 处 理 技术 的 领头 
实践 者 。 它 们 其 至 超过 了 很 多 有 几 十 年 经 验 的 线 下 公司 ,成 为 新 技术 的 领衔 
D 有 兴趣 的 读者 可 以 参考 2008 年 9 月 4 日 《自然 》 推 出 的 名 为 “大 数据 ”的 专刊 。 一 — 译 

者 注 
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引言 
一 场 生活 、 工 作 与 思维 的 大 变 单 


使 用 者 。 


今天 ， 一 种 可 能 的 方式 是 ， 亦 是 本 书 采 取 的 方式 ， 认 为 大 数据 是 人 们 在 
大 规模 数据 的 基础 上 可 以 做 到 的 事情 ， 而 这 些 事情 在 小 规模 数据 的 基础 上 和 是 
无 法 完成 的 。 大 数据 是 人 们 获得 新 的 认 知 ， 创 造 新 的 价值 的 源泉 ; 大 数据 还 
是 改变 市 场 、 组 织 机 构 ， 以 及 政府 与 公民 关系 的 万 法 。 


这 仅仅 只 是 一 个 开始 ， 大 数据 时 代 对 我 们 的 生活 ， 以 
wim (72.1) 及 与 世界 交流 的 方式 都 提出 了 挑战 。 最 惊人 的 是 ， 社 会 需 
A Revolution That 要 放弃 它 对 因果 关系 的 渴求 ， 而 仅 需 关注 相关 关系 。 也 就 










pI tt 
mapo at 
Ra RTE 


Will Transform How We Live, 

Work, and Think 是 说 只 需要 知 道 是 什么 | 而 不 需要 知道 为 什么 。 这 就 推翻 

大 数据 洞察 了 自古 以 来 的 惯例 ， 而 我 们 做 决定 和 理解 现实 的 最 基本 方 
式 也 将 受到 挑战 。 


大 数据 ， 开 启 重大 的 时 代 转 型 


大 数据 开启 了 一 次 重大 的 时 代 转 型 。 与 其 他 新 技术 一 样 ， 大 数据 也 必然 
要 经 历 硅谷 臭名 昭著 的 技术 成 熟 度 曲线 : 经 过 新 闻 媒 体 和 学 术 会 议 的 大 肆 宣 
传 之 后 ， 新 技术 趋势 一 下 子 跌 到 谷底 ， 许 多 数据 创业 公司 变 得 爱 受 可 人 危 。 当 
A, 不管 是 过 热 期 还 是 幻想 破灭 期 ， 部 非常 不 利于 我 们 正确 理解 正在 发 生 的 
变 半 的 重要 性 。 


就 像 望 远 镜 能 够 让 我 们 感受 宇宙 ， 显 微 镜 能 够 让 我 们 观测 微生物 ， 这 种 
能 够 收集 和 分 析 海 量 数据 的 新 技术 将 帮助 我 们 更 好 地 理解 世界 一 一 这 种 理解 
世界 的 新 方法 我 们 现在 才 意识 到 。 本 书 旨 在 如 实 表 达 出 大 数据 的 内 灾 ， 而 不 
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会 过 分 热 摔 它 。 当 然 ， 真 正 的 革命 并 不 在 于 分 析 数 据 的 机 器 ， 而 在 于 数据 本 
号 和 我 们 如 何 运 用 数据 。 


RVFEOVERMTELALEEHE MO TERTIERAE HOT ERT ERALEAH PEROT A ERO TE E ESTES ERSTE TEASERS SHOT ERTL EAHEHOTEMELEAS LES EH ORISA LGA PORT RAE EBHHhEY 


天 文学 ， 信 息 爆炸 的 起 源 
只 有 考虑 到 社会 各 个 方面 的 变化 趋势 ， 我 们 才 : 
能 真正 意识 到 信息 爆炸 已 经 到 来 。 我 们 的 数字 世界 | 
一 直 在 扩张 。 以 天 文学 为 例 ，2000 年 斯 隆 数字 这 | 
天 ( Sloan Digital Sky Survey) 项 目 启动 的 时 候 , 位 ， 
于 新 墨西哥 州 的 望远镜 在 短 短 几 周 内 收集 到 的 数据 ，， 
A GLERERS LEAbAMERES BO 
2010 年 ， 信 息 档案 已 经 高 达 1.4X2” 字 节 。 不 过 ， 
预计 2016 年 在 智利 投入 使 用 的 大 型 视 场 全 景 巡天 望 
3 iz ( Large Synoptic Survey Telescope ) 能 在 五 天 之 ; 
。 内 就 获得 同样 多 的 信息 。 


badtiianw >b 


Wy} UORTOAGH wy 


Mul; pue WOM | 


SAT GAA MOH ULOLUBIH MAA 





天 文学 领域 的 变化 在 各 个 领域 都 在 发 生 。2003 年 ， 人 类 第 一 次 破译 人 体 
基因 密码 的 时 候 ， 辛 闸 工 作 了 十 年 才 完 成 了 三 十 亿 对 碱 基 对 的 排序 。 大 约 十 
年 之 后 ， 世 界 范 围 内 的 基因 仪 每 15 分 钟 就 可 以 完成 同样 的 工作 。 在 金融 领 
域 , 美国 股市 每 天 的 成 交 量 高 达 70 亿 股 。 而 其 中 三 分 之 二 的 交易 都 是 由 建立 
在 算法 公式 上 的 计算 机 程序 完成 的 。 这 些 程序 运用 海量 数据 来 预测 利益 和 降 
低 风 险 。 


互联 网 公司 更 是 要 被 数据 淹没 了 。 谷 歌 公司 每 天 要 处 理 超过 24 拍 字 节 
© FAS, 一 般 记 作 PB， 等 于 2” 字 节 。 一 一 译 者 注 


010 


引 A 


一 场 生 活 、 工 作 与 思维 的 大 变革 


的 数据 ， 这 意味 着 其 每 天 的 数据 处 理 量 是 美国 国家 图 书馆 所 有 纸 质 出 版 物 所 
含 数据 量 的 上 千 倍 。facebook 这 个 创立 时 间 不 足 十 年 的 公司 ， 每 天 更 新 的 昭 
Fret 1 000 Ack, BAAN EME LAG “EB” (Like) 按钮 或 者 写 评 
论 次 数 大 约 有 三 十 亿 次 ， 这 就 为 facebook 公司 挖掘 用 户 喜 好 提供 了 大 量 的 数 
RR SERN, AKTAR YouTube 每 月 接待 多 达 8 亿 的 访客 ， 平 均 每 
一 秒 钟 就 会 有 一 段 长 度 在 一 小 时 以 上 的 视频 上 传 。twitter 上 的 信息 量 几 乎 每 
年 翻 一 倍 ， 截 至 2012 年 ， 每 天 都 会 发 布 超过 4 亿 条 微 博 。 


从 科学 研究 到 医疗 保险 ， 从 银行 业 到 互联 网 ,各 个 不 同 的 领域 都 在 讲述 
看 一 个 类 似 的 故事 ， 那 就 是 爆发 式 增 长 的 数据 量 。 这 种 增长 超过 了 我 们 创造 
机 耸 的 速度 ， 甚 至 超过 了 我 们 的 想象 。 


我 们 周围 到 底 有 多 少数 据 ? 增长 的 速度 有 多 快 ? 许多 人 试图 测量 出 一 
个 确切 的 数字 。 尽 管 测量 的 对 象 和 方法 有 所 不 同 ， 但 他 们 都 获得 了 不 同 程 
度 的 成 功 。 南 加 利 福 尼 亚 大 学 安 嫩 伯 格 通信 学 院 的 马丁 ' 希 尔 伯 特 〈《Martin 
Hilbert ) 进行 了 一 个 比较 全 面 的 研究 ， 他 试图 得 出 人 类 所 创造 、 存 储 和 传播 
的 一 切 信息 的 确切 数目 。 他 的 研究 范围 不 仅 包括 书籍 、 图 画 、 电 子 邮 件 、 照 
片 、 音 乐 、 视 频 〈 模拟 和 数字 )， 还 包括 电子 游戏 、 电 话 、 汽 车 导航 和 信件 。 
马 本 布尔 伯 特 还 以 收视 率 和 收听 率 为 基础 ， 对 电视 、 电 台 这 些 广播 媒体 进 
行 了 人 研究。 


据 他 估算 ，2007 年， 人 类 大 约 存储 了 超过 
300 艾 字 节 ? 的 数据 。 下 面 这 个 比喻 应 该 可 以 帮 BIG DATA 
助人 们 更 容易 地 理解 这 意味 着 什么 了 。 一 部 完整 om 





O FI, 一 般 记 作 EB， 等 于 2” 字 节 。 一 一 译 者 注 
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的 数字 电影 可 以 压缩 成 一 个 GB 的 文件 ， 而 一 个 
艾 字 节 相 当 于 10 亿 GB， 一 个 泽 字 节 2? 则 相当 于 
1 024 艾 字 方 。 总 之 ， 这 是 一 个 非常 庞大 的 数量 。 


有 趣 的 是 ， 在 2007 F, RA 7% 是 存储 在 报纸 、 书 籍 、 图 片 等 媒介 上 的 
模拟 数据 ,其 余 全 部 是 数字 数据 了 3。 但 在 不 久之 前 , 情况 却 完全 不 是 这 样 的 。 
虽然 1960 年 就 有 了 “信息 时 代 ” 和 “数字 村 镇 ”的 概念 ， 但 实际 上 ， 这 些 概 
念 仍然 是 相当 新 颖 的 。 甚 至 在 2000 年 的 时 候 ， 数 字 存 储 信息 仍 只 占 全 球 数据 
量 的 四 分 之 一 ; 当时 ， 另 外 四 分 之 三 的 信息 都 存储 在 报纸 、 胶 片 、 黑 胶 唱 片 
和 盒 式 磁 市 这 类 媒介 上 。 


早期 数字 信息 的 数量 是 不 多 的 。 对 于 长 期 在 网 上 冲浪 和 购书 的 人 来 说 ， 
那 只 是 一 个 微小 的 部 分 。 事 实 上， 在 1986 年 的 时 候 ， 世 界 上 约 40% 的 计算 
机 扩 术 都 被 运用 在 便携 计算 机 上 ， 那 时 候 ， 所 有 个 人 电脑 的 处 理 能 力 之 和 都 
没有 便携 计算 机 高 。 但 是 因为 数字 数据 的 快速 增长 ， 整 个 局 势 很 快 就 颠倒 过 
来 了 。 按 照 希 尔 介 特 的 说 法 ， 数 字数 据 的 数量 每 三 年 多 就 会 翻 一 倍 。 相 反 ， 
模拟 数据 的 数量 则 基本 上 没有 增加 。 


QO 泽 字 节 ， 一般 记 作 ZB， 等 于 2”" 字 节 。 一 一 译 者 注 

D 模拟 数据 也 称 为 模拟 量 ， 相 对 于 数字 量 而 言 ， 指 的 是 取 值 范围 是 连续 的 变量 或 者 数值 ， 例 
如 声音 、 图 像 、 温 度 、 压 力 等 。 模 拟 数据 一 般 采 用 模拟 信号 ， 例 如 用 一 系列 连续 变化 的 电 
磁 波 或 电压 信号 来 表示 。 译 者 注 

@ 数字 数据 也 称 为 数字 量 ， 相 对 于 模拟 量 而 言 ， 指 的 是 取 值 范围 是 离散 的 变量 或 者 数值 。 数 
字数 据 则 采用 数字 信号 ， 例 如 用 一 系列 断 续 变 化 的 电压 脉冲 ( 如 用 恒定 的 正 电压 表示 二 进 
制 数 1， 用 恒定 的 负电 压 表示 二 进 制 数 0 ) 或 光 脉 冲 来 表示 。 译 者 注 
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到 2013 年 ， 世 界 上 存储 的 数据 预计 能 达到 = 大 数据 的 力量 
这 样 大 的 数据 量 意味 着 什么 ? WRR soane o 

据 全 部 记 在 书 中 ,这 些 书 可 以 覆盖 整个 美国 52 次 。 | 

如 果 将 之 存储 在 只 读 光 盘 上 ， 这 些 光 盘 可 以 堆 成 

五 堆 ， 每 一 堆 都 可 以 伸 到 月 球 。 公 元 前 3 世纪 ， 

埃及 的 托 勒 密 二 世 竭 力 收集 了 当时 所 有 的 书写 作 

品 ， 所 以 伟大 的 亚历山大 图 书馆 可 以 代表 世界 上 

所 有 的 知识 量 。 ”但 当 数 字数 据 洪流 席 卷 世 界 之 

后 ， 每 个 地 球 人 都 可 以 获得 大 量 数据 信息 ， 相 当 

于 当时 亚历山大 图 书馆 存储 的 数据 总 量 的 320 倍 

+2. 





事情 真 的 在 快速 发 展 。 人 类 存储 信息 量 的 增长 速度 比 世 界 经 济 的 增长 速 
度 快 4 倍 ， 而 计算 机 数据 处 理 能 力 的 增长 速度 则 比 世 界 经 济 的 增长 速度 快 9 
音 。 难 怪人 们 会 抱怨 信息 过 量 ， 因 为 每 个 人 都 受到 了 这 种 极速 发 展 的 冲击 。 


把 眼光 放 远 一 点 ， 我 们 可 以 把 时 下 的 信息 洪流 与 1439 年 前 后 古 登 
保 发 明 印 刷机 * 时 造成 的 信息 爆炸 相对 比 。 历 史学 家 伊丽莎白 : 爱 森 斯 坦 
( Elizabeth Eisenstein) 发 现 ，1453 一 1503 年 ， 这 50 年 之 间 大 约 有 800 FAB 


QO 亚历山大 图 书馆 藏书 丰富 ， 有 据 可 考 的 超过 50 000 卷 ( 纸 草 卷 )， 包 括 《 荷 马 史诗 入 《 几 
何 原 本 》 等 。 亚 历 山大 图 书馆 建成 之 时 正 是 中 国 战 国 时 代 的 末期 ， 此 时 百家争鸣 ， 较 有 影 
啊 的 十 大 家 《〈 颂 、 道 、 墨 、 法 、 名 、 阴 阳 、 纵 横 、 杂 、 农 、 小 说 ) 多 有 著述 , 且 已 出 现 如 《 诗 
经 作 《 楚 辞 入 《 离 驭 》 等 文学 作品 ， 虽 没有 像 亚 历 山 大 图 书馆 一 样 的 集中 式 藏 书 中 心 ， 但 
也 占据 了 世界 知识 量 的 相当 份额 。 译 者 注 

D 据 《 中 国 出 版 史 》 记 载 ， 中 国 的 毕 异 早 在 11 世 纪 40 年 代 就 发 明了 泥 活字 印刷 ， 远 远 早 于 古 
登 堡 15 世 纪 30 年 代 发 明 的 铅 活字 。 一 一 编者 注 
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籍 被 印刷 ， 比 1 200 年 之 前 君 士 坦 丁 堡 建立 以 来 整个 欧洲 所 有 的 手 抄 书 还 要 
多 。 换 言 之 ， 欧 洲 的 信息 存储 量 花 了 50 年 才 增 长 了 一 倍 ( 当时 的 欧洲 还 占据 
了 世界 上 大 部 分 的 信息 存储 份额 )， 而 如 今 大 约 每 三 年 就 能 增长 一 倍 。 


这 种 增长 意味 着 什么 呢 ? 彼 特 : 诺 维 格 (Peter Norvig ) 是 谷歌 的 人 工 智 
能 专家 ， 也 曾 任 职 于 美国 宇航 局 喷气 推进 实验 室 ， 他 喜欢 把 这 种 增长 与 图 画 
进行 类 比 。 前 先 ， 他 要 我 们 想 想来 自 法 国 拉 斯 科 洞 穴 壁 画 上 的 标志 性 的 马 。 
这 些 画 可 以 追溯 到 一 万 七 千年 之 前 的 旧 石 器 时 代 。 然 后 ， 再 想 想 一 张 马 的 昭 
片 ， 想 想 毕 加 索 的 画 也 可 以 ， 看 起 来 和 那些 洞穴 壁画 没有 多 大 的 差别 。 事 实 
上 ， 举 加 索 看 到 那些 洞穴 壁画 的 时 候 就 曾 开 玩笑 说 :“ 自 那 以 后 ， 我 们 就 再 也 
没有 创造 出 什么 东西 了 。 


他 的 话 既 正确 又 不 完全 正确 。 你 回想 一 下 壁画 上 的 那 匹 马 。 当 时 要 画 一 
幅 马 的 画 需 要 花费 很 久 的 时 间 ， 而 现在 不 需要 那么 久 了 。 这 就 是 一 种 改变 ， 
里 然 改 变 的 可 能 不 是 最 核心 的 部 分 一 一 毕竟 这 仍然 是 一 幅 马 的 图 像 。 但 是 诺 
维 格 次 ， 想 象 一 人 让， 现在 我 们 能 每 秒 钟 播放 24 幅 不 同形 态 的 马 的 图 片 ， 这 就 
征 一 种 由 量变 寻 致 的 质变 : 一 部 电影 与 一 幅 静 态 的 画 有 本 质 上 的 区 别 ! 大 数 
据 也 一 样 ， 量 变 导 致 质变 。 物 理学 和 生物 学 都 告诉 我 们 ， 当 我 们 改变 规模 时 ， 
事物 的 状态 有 时 也 会 发 生 改 变 。 


我 们 就 以 纳米 技术 来 为 例 。 纳 米 技术 就 是 让 一 切 变 小 而 不 是 变 
大 。 其 原理 就 是 当 事 物 到 达 分 子 的 级 别 时 ， 它 的 物理 性 质 就 会 发 生 
改变 。 一 旦 你 知道 这 些 新 的 性 质 ， 你 就 可 以 用 同样 的 原料 来 做 以 前 
无 法 做 的 事情 。 铜 本 来 是 用 来 导电 的 物质 ， 但 它 一 旦 到 达 纳 米 级 别 
就 不 能 在 磁场 中 导电 了 。 银 离子 具有 抗菌 性 ， 但 当 它 以 分 子 形式 存 
在 的 时 候 , 这 种 性 质 会 消失 。 一 旦 到 达 纳 米 级 别 , 金 属 可 以 变 得 柔软 ， 
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陶土 可 以 具有 弹性 。 同 样 ， 当 我 们 增加 所 利用 的 数据 量 时 ， 我 们 就 可 
以 做 很 多 在 小 数据 量 的 基础 上 无 法 完成 的 事情 。 


有 时 候 ， 我 们 认为 约束 我 们 生活 的 那些 限制 ， 对 于 世间 万 物 都 有 着 同样 
的 约束 力 。 事 实 上 ， 尽 管 规律 相同 ， 但 是 我 们 能 够 感受 到 的 约束 ， 很 可 能 只 
对 我 们 这 样 尺度 的 事物 起 作用 。 对 于 人 类 来 说 ， 唯 一 一 个 最 重要 的 物理 定律 
便 是 万 有 引力 定律 。 这 个 定律 无 时 无 刻 不 在 控制 着 我 们 。 但 对 于 细小 的 昆虫 
来 说 , 重力 是 无 关 紧 要 的 。 ?对 它们 而 言 , 物理 宇宙 中 有 效 的 约束 是 地 表 张 力 ， 
这 个 张力 可 以 让 它们 在 水 上 自由 行走 而 不 会 掉 下 去 。 但 人 类 对 于 地 表 张 力 毫 
不 在 意 。 


对 于 万 有 引力 产生 的 约束 效果 而 言 ， 生 物体 的 大 小 是 非常 重要 的 。 类 似 
地 ， 对 于 信息 而 言 ， 规 模 也 是 非常 重要 的 。 谷 歌 能 够 几 近 完美 地 给 出 和 基于 
大 量 趴 实 病例 信息 所 得 到 的 流感 情况 一 致 的 结果 ， 而 且 几 乎 是 实时 的 ， 比 疾 
控 中 心 快 多 了 。 同 样 ，Farecast 可 以 预测 机 票 价格 的 波动 ， 从 而 让 消费 者 真 
正在 经 济 上 获 利 。 它 们 之 所 以 如 此 给 力 ， 都 因为 存在 供 其 分 析 的 数 千 亿 记 的 
数据 项 。 


大 数据 的 科学 价值 和 社会 价值 正 是 体现 在 这 里 。 一 方 
Cm/ 由 ， 对 大 数据 的 擎 握 程 度 可 以 转化 为 经 济 价值 的 来 源 。 另 
A Revolution That 一 人 天 | 5 大 数据 时 代 已 经 撼动 了 世界 的 方方面面 5 从 商业 


Wil! Transform Mow Ye Live, 





Work, and Think 科技 到 医疗 、 政 府 、 教 育 、 经 济 、 人 文 以 及 社会 的 其 他 各 
大 数据 洞察 | 个 领域 。 


OD 这 是 一 个 美妙 有 趣 的 例子 ,但 是 对 于 学 习 物理 的 人 来 说 总 是 有 些 怪 异 。 显 然 ， 万 有 引力 一 
如 既往 起 着 作用 ， 不 过 是 因为 空气 阻力 在 不 同 密度 和 体积 的 物体 上 产生 了 不 同 的 效果 。 如 
ALTO ARASH RET I, RMA DIA HZ 译 者 注 
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尽管 我 们 仍 处 于 大 数据 时 代 来 临 的 前 夕 ， 但 我 们 的 日 党 生活 已 经 离 不 开 
它 了 。 垃 圾 邮件 过 滤器 可 以 自动 过 滤 垃 圾 邮件 ， 尽 管 它 并 不 知道 “发 # 票 # 
销 # 售 ”是 “发 票 销售 ”的 一 种 变 体 。 交 友 网 站 根据 个 人 的 性 格 与 之 前 成 功 
配对 的 情侣 之 间 的 关联 来 进行 新 的 配对 。 具 有 “自动 改正 ”功能 的 智能 手机 
通过 分 析 我 们 以 前 的 输入 ， 将 个 性 化 的 新 单词 添加 到 手机 词典 里 。 然 而 ， 对 
于 这 些 数据 的 利用 还 仅仅 只 是 一 个 开始 。 从 可 以 自动 转弯 和 条 车 的 汽车 ， 到 
IBM 沃 特 森 超级 电脑 在 游戏 节目 《危险 边缘》 Jeopardy ) 中 打败 人 类 来 看 ， 
这 项 技术 终 将 会 改变 我 们 所 居住 的 星球 的 许多 东西 。 


预测 ) 大 数据 的 核心 


大 数据 的 核心 就 是 预测 。 它 通常 被 视 为 人 工 智能 的 一 部 分 ， 或 者 更 确切 
地 说 ， 被 视 为 一 种 机 器 学 习 。 但 是 这 种 定义 是 有 误导 性 的 。 大 数据 不 是 要 教 
机 器 像 人 一 样 思考 。 相 反 ， 它 是 把 数学 算法 运用 到 海量 的 数据 上 来 预测 事情 
发 生 的 可 能 性 。 一 封 邮件 被 作为 垃圾 邮件 过 滤 掉 的 可 能 性 ， 输 入 的 “teh” 应 
该 是 “the” 的 可 能 性 ， 从 一 个 人 乱 穿 马 路 时 行进 的 轨迹 和 速度 来 看 他 能 及 时 
穿 过 马路 的 可 能 性 ， 都 是 大 数据 可 以 预测 的 范围 。 当 然 ， 如 果 一 个 人 能 及 时 
穿 过 马路 ， 那 么 他 乱 穿 马 路 时 ， 车 子 就 只 需要 稍稍 减速 就 好 。 但 是 这 些 预 测 
系统 之 所 以 能 够 成 功 ， 关 键 在 于 它们 是 建立 在 海量 数据 的 基础 之 上 的 。 此 外 ， 
随 着 系统 接收 到 的 数据 越 来 越 多 ， 通 过 记录 找到 的 最 好 的 预测 与 模式 ， 可 以 
对 系统 进行 改进 。 


在 不 久 的 将 来 ， 世 界 许 多 现在 单纯 依靠 人 类 判断 力 的 领域 都 会 被 计算 机 
系统 所 改变 甚至 取代 。 计 算 机 系统 可 以 发 挥 作用 的 领域 远 远 不 止 驾 驶 和 交友 ， 
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还 有 更 多 更 复杂 的 任务 。 别 忘 了 ， 亚 马 逊 可 以 帮 有 我 们 推荐 想 要 的 书 ， 谷 歌 可 
以 为 关联 网 站 排序 ，facebook 知道 我 们 的 喜好 ， 而 LinkedIn 可 以 猜 出 我 们 认 
识 谁 。” 当然， 同样 的 技术 也 可 以 运用 到 疾病 诊断 、 推 荐 治疗 措施 ， 甚 至 是 
识别 潜在 犯罪 分 子 上 。 


就 像 互联 网 通过 给 计算 机 添加 通信 功能 而 改变 了 世界 ， 大 数据 也 将 改变 
我 们 生活 中 最 重要 的 方面 ， 因 为 它 为 我 们 的 生活 创造 了 前 所 未 有 的 可 量化 的 
维度 。 大 数据 已 经 成 为 了 新 发 明和 新 服务 的 源 果 ， 而 更 多 的 改变 正 蓄 努 符 发 。 


大 数据 ， 大 挑战 


大 数据 的 核心 代表 着 我 们 分 析 信息 时 的 三 个 转变 。 这 些 转变 将 改变 我 们 
理解 和 组 建 社 会 的 方法 。 


第 一 个 转变 就 是 ， 在 大 数据 时 代 ， 我 们 可 以 分 析 更 多 的 数据 ， 有 时 候 甚 
至 可 以 处 理 和 某 个 特别 现象 相关 的 所 有 数据 ， 而 不 再 依赖 于 随机 采样 。 这 部 
分 内 容 将 在 第 1 章 阐述 。19 世纪 以 来 ， 当 面临 大 量 数据 时 ， 社 会 都 依赖 于 采 
样 分 析 。 但 是 采样 分 析 是 信息 缺乏 时 代 和 信息 流通 受 限 制 的 模拟 数据 时 代 的 
产物 。 以 前 我 们 通常 把 这 看 成 了 理所当然 的 限制 ,但 高 性 能 数字 技术 的 流行 
让 我 们 意识 到 ， 这 其 实 是 一 种 人 为 的 限制 。 与 局 限 在 小 数据 范围 相 比 ， 使 用 
一 切 数据 为 我 们 带 来 了 更 高 的 精确 性 ， 也 让 我 们 看 到 了 一 些 以 前 无 法 发 现 的 
细节 一 一 大 数据 让 我 们 更 清楚 地 看 到 了 样本 无 法 揭示 的 细节 信息 。 


D 这 些 任 务 都 和 个 性 化 技术 相关 ， 包 括 个 性 化 排序 和 个 性 化 推荐 。 个 性 化 技术 是 大 数据 时 代 
最 重要 的 技术 ， 这 里 向 专业 读者 推荐 吕 琳 媛 等 人 2012 年 在 《Physics Reports》 上 发 表 的 名 
为 “Recommender Systems” AYR. ——PEA YE | 
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第 二 个 改变 就 是 ， 研 究 数据 如 此 之 多 ， 以 至 于 我 们 不 再 热衷 于 追求 精确 
度 。 这 部 分 内 容 将 在 第 2 章 前 述 。 当 我 们 测量 事物 的 能 力 受 限 时 ， 关 注 最 重 
要 的 事情 和 获取 最 精确 的 结果 是 可 取 的 。 如 果 购 买 者 不 知道 牛 群 里 有 80 头 午 
还 是 100 头 牛 ， 那 么 交易 就 无 法 进行 。 直 到 今天 ， 我 们 的 数字 技术 依然 建立 
在 精准 的 基础 上 。 我 们 假设 只 要 电子 数据 表格 把 数据 排序 ， 数 据 库 引 擎 融 可 
以 找 出 和 我 们 检索 的 内 容 完全 一 致 的 检索 记录 。 


这 种 思维 方式 适用 于 掌握 “小 数据 量 ” 的 情况 ， 因 为 需要 分 析 的 数据 很 
少 ， 所 以 我 们 必须 尽 可 能 精准 地 量化 我 们 的 记录 。 在 某 些 方面 ， 我 们 已 经 意 
识 到 了 差别 。 例 如 ， 一 个 小 商店 在 晚上 打 料 的 时 候 要 把 收银 台 里 的 每 分 钱 和 都 
数 清楚 ， 但 是 我 们 不 会 、 也 不 可 能 用 “分 ”这 个 单位 去 精确 计算 国民 生产 总 
值 。 随 着 规模 的 扩大 ， 对 精确 度 的 痴迷 将 减弱 。 


达到 精确 需要 有 专业 的 数据 库 。 针 对 小 数据 量 和 特定 事情 ， 追 求 精确 性 
依然 是 可 行 的 ， 比 如 一 个 人 的 银行 账户 上 是 否 有 足够 的 钱 开具 文 聚 。 但 是 ， 
在 这 个 大 数据 时 代 ， 在 很 多 时 候 ， 追 求 精确 度 已 经 变 得 不 可 行 ， 甚 至 不 受 欢 
迎 了 。 当 我 们 拥有 海量 即时 数据 时 ， 绝 对 的 精准 不 再 是 我 们 追求 的 主要 目标 。 


大 数据 纷繁 多 样 ， 优 劣 掺 杂 ， 分 布 在 全 球 多 个 服务 器 上 。 拥 有 了 大 数据 ， 
我 们 不 再 需要 对 一 个 现象 蚀 根 究 底 ， 只 要 掌握 大 体 的 发 展 方向 即 可 。 当 然 ， 
我 们 也 不 是 完全 放弃 了 精确 度 ， 只 是 不 再 沉迷 于 此 。 适 当 忽略 微观 层面 上 的 
精确 度 会 让 我 们 在 宏观 层面 拥有 更 好 的 洞察 力 。 


第 三 个 转变 因 前 两 个 转变 而 促成 ， 即 我 们 不 再 热衷 于 寻找 因果 关系 。 这 
部 分 内 容 将 在 第 3 章 阐述 。 寻 找 因果 关系 是 人 类 长 久 以 来 的 习惯 。 即 使 确定 
因果 关系 很 困难 而 且 用 途 不 大 ， 人 类 还 是 习惯 性 地 寻找 缘由 。 相 反 ， 在 大 数 
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据 时 代 ， 我 们 无 须 再 紧 盯 事物 之 间 的 因果 关系 ， 而 应 该 寻找 事物 之 间 的 相关 
关系 ， 这 会 给 我 们 提供 非常 新 颖 且 有 价值 的 观点 。 相 关 关 系 也 许 不 能 准确 地 
告知 我 们 某 件 事情 为 何 会 发 生 ， 但 是 它 会 提醒 我 们 这 件 事情 正在 发 生 。 在 许 
多 情况 下 ， 这 种 提醒 的 帮助 已 经 足够 大 了 。 


如 果 电 子 医疗 记录 显示 橙汁 和 阿司匹林 的 特定 组 合 可 以 治疗 癌症 ， 那 么 
找 出 具体 的 致 病原 因 就 没有 这 种 治疗 方法 本 身 来 得 重要 。 同 样 ， 只 要 我 们 知 
道 什 么 时 候 是 买 机 票 的 最 佳 时 机 ， 就 算 不 知道 机 票 价格 疯狂 变动 的 原因 也 无 
所 谓 了 。 大 数据 告诉 我 们 “是 什么 ”而 不 是 “为 什么 ”。 在 大 数据 时 代 ， 我 们 
不 必 知 道 现 象 背 后 的 原因 ， 我 们 只 要 让 数据 自己 发 声 。 


我 们 不 再 需要 在 还 没有 收集 数据 之 前 ， 就 把 我 们 的 分 析 建 立 在 早已 设立 
的 少量 假设 的 基础 之 上 。 让 数据 发 声 ， 我 们 会 注意 到 很 多 以 前 从 来 没有 意识 
到 的 联系 的 存在 。 


例如 ， 对 冲 基 金 通过 剖析 社交 网 络 twitter 上 的 数据 信息 来 预测 
股市 的 表现 ; LHK (Netflix) 根据 用 户 在 其 网 站 上 的 类 似 
查询 来 进行 产品 推荐 ; twitter, facebook 和 LinkedIn 通过 用 户 的 社 
交 网 络 图 来 得 知 用 户 的 喜好 。 


当然 ， 人 类 从 数 干 年 前 就 开始 分 析 数 据 。 古 代 美 索 不 达 米 亚 平 原 的 记 账 
人 员 为 了 有 效 地 跟踪 记录 信息 发 明了 书写 。 自 从 圣经 时 代 开 始 ， 政 府 就 通过 
进行 人 口 普查 来 建立 大 型 的 国民 数据 库 。 两 百 多 年 来 ， 精 算 师 们 也 一 直通 过 
搜集 大 量 的 数据 来 进行 风险 规避 。 


模拟 时 代 的 数据 收集 和 分 析 极 其 耗 时 耗 力 ， 新 问题 的 出 现 通常 要 求 我 们 
重新 收集 和 分 析 数 据 。 数 字 化 的 到 来 使 得 数据 管理 效率 又 向 前 迈 出 了 重要 的 
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一 步 。 数 字 化 将 模拟 数据 转换 成 计算 机 可 以 读 取 的 数字 数据 ， 使 得 存储 和 处 
理 这 些 数据 变 得 既 便 宜 又 容易 ， 从 而 大 大 提高 了 数据 管理 效率 。 过 去 需要 几 
年 时 间 才 能 完成 的 数据 搜集 ， 现 在 只 要 几 天 就 能 完成 。 但 是 ， 光 有 改变 还 远 
远 不 够 。 数 据 分 析 者 太 沉 浸 于 模拟 数据 时 代 的 设想 ， 即 数据 库 只 有 单一 的 用 
途 和 价值 ， 而 正 是 我 们 使 用 的 技术 和 方法 加 深 了 这 种 偏见 。 虽 然 数字 化 是 促 
成 器 大 数据 转变 的 重要 原因 ， 但 仅 有 计算 机 的 存在 却 不 足以 实现 大 数据 。 


我 们 没有 办 法 准确 描述 现在 正在 发 生 的 一 切 ,但 是 在 第 4 章 即 将 提 到 的 
数据 化 ”概念 可 以 帮助 我 们 大 致 了 解 这 次 变革 。 数 据 化 意味 着 我 们 把 一 切 都 
透明 化 ， 甚 至 包括 很 多 我 们 以 前 认为 和 “信息 ”根本 搭 不 上 边 的 事情 。 比方 
说 ,一 个 人 所 在 的 位 置 、 引 擎 的 振动 、 桥 梁 的 承重 等 。 我 们 要 通过 量化 的 方 
法 把 这 些 内 容 转 化 为 数据 。 这 就 使 得 我 们 可 以 尝试 许多 以 前 无 法 做 到 的 事情 ， 
如 根据 引擎 的 散热 和 振动 来 预测 引擎 是 否 会 出 现 故 障 。 这 样 ， 我 们 就 激发 出 
了 这 些 数据 此 前 未 被 挖掘 的 潜在 价值 。 


大 数据 时 代 开 局 了 一 场 寻宝 游戏 ， 而 人 们 对 于 数据 的 看 法 以 及 对 于 由 因 
果 关 系 回 相关 关系 转化 时 释放 出 的 潜在 价值 的 态度 ， 正 是 主宰 这 场 游 戏 的 关 
键 。 新 兴 技 术 工 具 的 使 用 使 这 一 切 成 为 可 能 。 宝 贝 不 止 一 件 ， 每 个 数据 集 内 
部 都 隐藏 着 某 些 未 被 发 据 的 价值 。 这 场 发 据 和 利用 数据 价值 的 竞赛 正 开 始 在 
全 球 上 演 。 

第 5 章 和 第 6 章 将 讲述 大 数据 如 何 改变 了 商业 、 市 场 和 社会 的 本 质 。20 
世纪 ， 价 值 已 经 从 实体 基建 转变 为 无 形 财产 ， 从 土地 和 工厂 转变 为 品牌 和 产 
权 。 如 今 ， 一 个 新 的 转变 正在 进行 ， 那 就 是 电脑 存储 和 分 析 数 据 的 方法 取代 
电脑 硬件 成 为 了 价值 的 源 果 。 数 据 成 为 了 有 价值 的 公司 资产 、 重 要 的 经 济 投 
和 和 新 型 商业 模式 的 基石 。 虽 然 数据 还 没有 被 列 人 企业 的 资产 负债 表 ， 但 这 


020 


引言 
一 场 生活 、 工 作 与 思维 的 大 变革 


只 是 一 个 时 间 问 题 。 


虽然 有 些 数据 处 理 技术 已 经 出 现 了 一 段 时 间 , 但 是 它们 只 为 调查 
局 、 研 究 所 和 世界 上 的 一 些 巨头 公司 所 掌握 。 沃 尔 玛 和 美国 第 一 资本 银行 
( CapitalOne ) 率先 将 大 数据 运用 在 了 零售 业 和 银行 业 ， 因 此 改变 了 整个 行业 。 
如 今 这 种 技术 大 多 都 实现 了 大 众 化 。 


大 数据 对 个 人 的 影响 是 最 惊人 的 。 在 一 个 可 能 性 和 相关 性 占 主导 地 位 的 
世界 里 ， 专 业 性 变 得 不 那么 重要 了 。 行业 专家 不 会 消失 ,但 是 他 们 必须 与 数 
据 表达 的 信息 进行 博弈 。 如 同 在 电影 《点 球 成 金 》( Moneyball) 里 ， 棒 球星 
探 们 在 统计 学 家 面前 相形 见 细 一 一 直觉 的 判断 被 迫 让 位 于 精准 的 数据 分 析 。 
这 将 迫使 人 们 调整 在 管理 、 决 策 、 人 力 资源 和 教育 方面 的 传统 理念 。 


我 们 大 部 分 的 习俗 和 惯例 都 建立 在 一 个 预 设 好 的 立场 上 ， 那 就 是 我 们 用 
来 进行 决策 的 信息 必须 是 少量 、 精 确 并 且 至 关 重要 的 。 但 是 ， 当 数据 量变 大 、 
数据 处 理 速 度 加 快 ， 而 且 数 据 变 得 不 那么 精确 时 ， 之 前 的 那些 预 设立 场 就 不 
复 存 在 了 。 此 外 ， 因 为 数据 量 极 为 庞大 ， 最 后 做 出 决策 的 将 是 机 器 而 不 是 人 
类 上 自己。 第 7 章 将 会 讨论 大 数据 的 负面 影响 。 


在 了 解 和 监视 人 类 的 行为 方面 ， 社 会 已 经 有 了 数 千年 的 经 验 。 但 是 ， 如 
何 来 监管 一 个 算法 系统 呢 ? 在 信息 化 时 代 的 早期 ， 有 一 些 政策 专家 就 看 到 了 
信息 化 给 人 们 的 隐私 权 带 来 的 威胁 ， 社 会 也 已 经 建立 起 了 庞大 的 规则 体系 来 
保障 个 人 的 信息 安全 。 但 是 在 大 数据 时 代 ， 这 些 规 则 都 成 了 无 用 的 马 其 诺 防 
线 。 人 们 自愿 在 网 络 上 分 享 信息 ， 而 这 种 分 享 的 能 力 成 为 了 网 络 服务 的 一 
D 马 奇 诺 防线 是 法 国 在 第 一 次 世界 大 战 后 ， 为 防 德军 人 侵 而 在 其 东北 边境 地 区 构筑 的 筑 侄 配 

系 ， 以 其 陆军 部 长 姓氏 命名 。1940 年 5 月 至 6 月 ， 德 国 主力 通过 阿 登 山脉 ， 从 马 奇 诺 防 线 


左 莹 迁 回 ， 进 抵 马 奇 诺 防线 的 后 方 ， 使 防线 丧失 了 作用 。 " 马 奇 诺 防线 ”现在 用 来 意 指 看 
似 表面 坚固 ， 实 际 毫 无 价值 的 东西 。 一 一 译 者 注 
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个 中 心 特征 ， 而 不 再 是 一 个 需要 规避 的 薄弱 点 了 。 


对 我 们 而 言 ， 危 险 不 再 是 隐私 的 泄露 ， 而 是 被 预知 的 可 能 性 一 一 这 些 能 
预测 我 们 可 能 生病 、 拖 欠 还 款 和 犯罪 的 算法 会 让 我 们 无 法 购买 保险 、 无 法 贫 
款 、 甚 至 在 实施 犯罪 前 就 被 预先 逮捕 。 显 然 ， 统 计 把 大 数据 放 在 了 首位 ， 但 
即便 如 此 ， 个 人 意志 是 否 应 该 姿 驾 于 大 数据 之 上 呢 ? 就 像 出 版 印刷 行业 的 发 
展 推动 国家 立法 保护 言论 自由 (在 此 之 前 没有 出 台 类 似 法 律 的 必要 ， 因 为 没 
有 太 多 的 言论 需要 保护 )， 大 数据 时 代 也 需要 新 的 规 革 制 度 来 保卫 权 努 面前 的 
个 人 权利 。 


政府 机 构 和 社会 在 控制 和 处 理 数据 的 方法 上 必须 有 多 方位 的 改变 。 不 可 
否认 ， 我 们 进入 了 一 个 用 数据 进行 预测 的 时 代 ， 虽 然 我 们 可 能 无 法 解释 其 背 
后 的 原因 。 如 果 一 个 医生 只 要 求 病人 遵从 医嘱 ， 却 没 法 说 明 医 学 干预 的 合理 
性 的 话 ， 情 况 会 怎么 样 呢 ? 实际 上 ， 这 是 依靠 大 数据 取得 病理 分 析 的 医生 们 
一 定 会 做 的 事情 。 还 有 司法 系统 的 “合理 证 据 ” 是 不 是 应 该 改 为 “可 能 证 据 ” 
NE? 如 果真 是 这 样 ， 会 对 人 类 目 由 和 得 严 产生 什么 影响 呢 ? 


我 们 在 大 数据 时 代 倡 导 的 一 系列 规范 将 在 第 8 章 进行 介绍 。 这 些 规范 建 
立 在 我 们 很 熟悉 的 “小 数据 ”时 代 发 展 并 保留 下 来 的 规范 的 基础 之 上 。 新 环 
境 要 求 旧 规范 与 时 俱 进 。 


大 数据 给 社会 市 来 的 益处 将 是 多 方面 的 。 因 为 大 数据 





BIG DATA | 己 经 成 为 解决 紧迫 世界 性 问题 ， 如 抑制 全 球 变 眶 、 消 除 疾 
ARewuon Thal | 病 、 提 高 执 下 能力 和 发 展 经 济 的 一 个 有 力 武器 。 但 是 大 数 
Werk, and Think 据 时 代 也 向 我 们 提出 了 挑战 ， 我 们 需要 做 好 充足 的 准备 迎 
大 数据 洞察 接 大 数据 技术 给 我 们 的 机 构 和 自身 带 来 的 改变 。 
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大 数据 标志 着 人 类 在 寻求 量化 和 认识 世界 的 起 路 上 前 进 了 一 大 步 。 过 去 
不 可 计量 、 和 存储 、 分 析 和 共享 的 很 多 东西 部 被 数据 化 了 。 拥 有 大 量 的 数据 和 
更 多 不 那么 精确 的 数据 为 我 们 理解 世界 打开 了 一 遍 新 的 大 门 。 社 会 因此 放弃 
了 寻找 因果 关系 的 传统 仿 好 ， 开 始 挖 气相 关 关 系 的 好 处 。 


寻找 原因 是 一 种 现代 社会 的 一 神 论 ， 大 数据 推翻 了 这 个 论断 。 但 我 们 又 
陷 人 了 一 个 历史 的 困境 ， 那 就 是 我 们 活 在 一 个 “上 帝 已 死 ” 的 时 代 。 也 就 是 
说 ， 我 们 曾经 坚守 的 信念 动 播 了 。 讽 刺 的 是 ， 这 些 信念 正在 被 “更 好 ”的 证 
Ta. BA, MA PRN SUE SW Ee. ARAKI 
当 什 么 角色 呢 ? 当世 界 由 探求 因果 关系 变 成 挖掘 相关 关系 ， 我 们 怎样 才能 既 
不 损坏 建立 在 因果 推理 基础 之 上 的 社会 繁荣 和 人 类 进步 的 基石 ， 又 取得 实际 
的 进步 呢 ? 本 书 意 在 解释 我 们 喘 在 何 处 ， 我 们 从 何 而 来 ， 并 且 提 供 当 下 呈 需 
的 指导 ， 以 应 对 横 在 我 们 眼前 的 利益 和 危险 。 
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不 是 随机 样本 ， 而 是 全 体 数 据 


当 数 据 处 理 技术 已 经 发 生 了 翻天 覆 地 的 变化 时 ， 
在 大 数据 时 代 进 行 抽 梓 分 析 就 像 在 汽车 时 代 骑 马 
一 梓 。 一 切 都 改变 了 ， 我 们 需要 的 是 所 有 的 数据 ， 
样本 = 总 体 。 





【 大 数据 先锋 】 
穿孔 卡片 与 美国 人 口 普查 
大 数据 与 乔布斯 的 癌症 治 
Xoom 与 跨 境 汇 球 异 常 交 易 报警 
巴 拉 巴 西 与 第 一 次 全 社会 层面 的 网 络 分 析 
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大 数据 时 代 


让 数据 “发 声 ” 


“大 数据 ”全 在 于 发 现 和 理解 信息 内 容 及 信息 与 信息 之 间 的 关系 ， 然 而 
直到 最 近 , 我 们 对 此 似乎 还 是 难以 把 握 。IBM 的 资深 “大 数据 ”专家 杰 夫 : 乔 
_ (Jeff Jonas ) 提出 要 让 数据 “说 话 ”。 从 某 种 层面 上 来 说 ， 这 听 起 来 很 平 
和 常 。 人 们 使 用 数据 已 经 有 相当 长 一 段 时 间 了 ， 无 论 是 日 常 进行 的 大 量 非 正式 
es 
数据 有 关 。 


在 数字 化 时 代 ， 数 据 处 理 变 得 更 加 容易 、 更 加 快速 ， 人 们 能 够 在 瞬间 处 
理 成 二 上 万 的 数据 。 但 当 我 们 谈论 能 “说 话 ” 的 数据 时 ， 我 们 指 的 远 远 不 止 
这 些 。 


实际 上 ， 大 数据 与 三 个 重大 的 思维 转变 有 关 ， 这 三 个 转变 是 相互 联系 和 
”相互 作用 的 。 


028 


01. 更 多 
不 是 随机 样本 ， 而 是 全 体 数 据 


e 首先 ， 要 分 析 与 某 事物 相关 的 所 有 数据 ， 而 不 是 依靠 分 析 少 
量 的 数据 样本 。 

e 其 次 ， 我 们 乐于 接受 数据 的 纷繁 复杂 ， 而 不 再 追求 精确 性 。 

e 最 后 ， 我 们 的 思想 发 生 了 转变 ， 不 再 探求 难以 捉摸 的 因果 关 
系 ， 转 而 关注 事物 的 相关 关系 。 


本 章 就 将 介绍 第 一 个 转变 : 利用 所 有 的 数据 ， 而 不 再 仅仅 依靠 一 小 部 分 
数据 。 


很 长 一 段 时 间 以 来 ， 准 确 分 析 大 量 数据 对 我 们 而 言 都 是 一 种 挑 成 。 过 
去 ， 因 为 记录 、 储 存 和 分 析 数 据 的 工具 不 够 好 ， 我 们 只 能 收集 少量 数据 进行 
分 析 ， 这 让 我 们 一 度 很 苦恼 。 为 了 让 分 析 变 得 简单 ， 我 们 会 把 数据 量 缩减 到 
”最 少 。 这 是 一 种 无 意识 的 自省 : 我 们 把 与 数据 交流 的 困难 看 成 是 目 然 的 ， 而 
没有 意识 到 这 只 是 当时 技术 条 件 下 的 一 种 人 为 的 限制 。 如 今 ， 技 术 条 件 已 经 
有 了 非常 大 的 提高 ， 虽 然 人 类 可 以 处 理 的 数据 依然 是 有 限 的 ， 也 永远 是 有 限 
的 , 但 是 我 们 可 以 处 理 的 数据 量 已 经 大 大 地 增加 ， 而 且 未 来 会 越 来 越 多 。 


在 某 些 方面 ， 我 们 依然 没有 完全 意识 到 上 自己 拥有 了 能 够 收集 和 处 理 更 大 
规模 数据 的 能 力 。 我 们 还 是 在 信息 匮乏 的 假设 下 做 很 多 事情 ， 建 立 很 多 机 构 
组 织 。 我 们 假定 自己 只 能 收集 到 少量 信息 ， 结 果 岗 真 的 如 此 了 。 这 是 一 个 目 
我 实现 的 过 程 。 我 们 甚至 发 展 了 一 些 使 用 尽 可 能 少 的 信息 的 技术 。 别 起 了 ， 
统计 学 的 一 个 目的 就 是 用 尽 可 能 少 的 数据 来 证 实 尽 可 能 重大 的 发 现 。 事实 上 ， 
我 们 形成 了 一 种 习惯 ， 那 就 是 在 我 们 的 制度 、 处 理 过 程 和 激励 机 制 中 尽 可 能 
地 减少 数据 的 使 用 。 为 了 理解 大 数据 时 代 的 转变 意味 着 什么 ， 我 们 需要 首先 
回顾 一 下 过 去 。 
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小 数据 时 代 的 随机 采样 ， 最 少 的 数据 获得 最 多 的 信息 


直到 最 近 ， 私 人 企业 和 个 人 才 拥 有 了 大 规模 收集 和 分 类 数据 的 能 力 。 在 
过 去 ， 这 是 只 有 教会 或 者 政府 才能 做 到 的 。 当 然 ， 在 很 多 国家 ， 教 会 和 政府 
是 等 同 的 。 有 记载 的 、 最 早 的 计数 发 生 在 公元 前 8000 年 的 ， 当 时 苏 美 尔 的 
商人 用 黏土 珠 来 记录 出 售 的 商品 。 大 规模 的 计数 则 是 政府 的 事情 。 效 千年 来 ， 
政府 都 试图 通过 收集 信息 来 管理 国民 。 


以 人 口 普查 为 例 。 据 说 古代 埃及 曾 进 行 过 人 口 普查 ,《 旧 约 》 和 《新 约 》 
中 对 此 都 有 所 提 及 。 那 次 由 奥 古 斯 都 凯撒 主导 实施 的 人 口 普查 ， 提 出 了 “每 
个 人 都 必须 纳税 ”， 这 使 得 约瑟夫 和 玛丽 搬 到 了 耶稣 的 出 生地 伯利恒 。1086 
年 的 《末日 审判 书 》( The Doomsday Book) 对 当时 英国 的 人 口 、 土 地 和 财产 
做 了 一 个 前 所 未 有 的 全 面 记载 。 皇 家 委员 穿越 整个 国家 对 每 个 人 、 每 件 事 都 
做 了 记载 ， 后 来 这 本 书 用 《圣经 》 中 的 《末日 审判 书 》 命 名 ， 因 为 每 个 人 的 
生活 都 被 赤裸 裸 地 记载 下 来 的 过 程 就 像 接受 “最 后 的 审判 ”一 样 。 


然而 ， 人 口 普 查 是 一 项 耗资 且 费 时 的 事情 。 国 王 威廉 -一 世人 (King 
William I) 在 他 发 起 的 《末日 审判 书 》 完 成 之 前 就 去 世 了 。 但 是 ， 除 非 放 弃 
收集 信息 ， 否 则 在 当时 没有 其 他 办 法 。 尽 管 如 此 ， 当 时 收集 的 信息 也 只 是 
一 个 大 概 情况 ， 实 施 人 口 普 查 的 人 也 知道 他 们 不 可 能 准确 记录 下 每 个 人 的 信 
息 。 实 际 上 ,“ 人 口 普 查 ” 这 个 词 来 源 于 拉丁 语 的 “censere”， 意 思 就 是 推测 、 
估算 。 
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不 是 随机 样本 ， 而 是 全 体 数据 


三 百 多 年 前 ， 一 个 名 叫 约 翰 . 格 朗 特 (John Graunt) HX BH 
幻 用 品 商 提出 了 一 个 很 有 新 意 的 方法 。 他 采用 了 一 个 新 方法 推算 出 
和 鼠疫 时 期 伦敦 的 人 口 数 ， 这 种 方法 就 是 后 来 的 统计 学 。 这 个 方法 不 
需要 一 个 人 一 个 人 地 计算 。 虽 然 这 个 方法 比较 粗糙 ， 但 采用 这 个 方 
法 ， 人 们 可 以 利用 少量 有 用 的 样本 信息 来 获取 人 口 的 整体 情况 。 


虽然 后 来 证 实 他 能 够 得 出 正确 的 数据 仅仅 是 因为 运气 好 ,但 在 当时 他 的 
方法 大 受 欢迎 。 样 本 分 析 法 一 直 剖 有 和 较 大 的 源 润 ， 因 此 无 论 是 进行 人 口 痛 查 
还 是 其 他 大 数据 类 的 任务 ， 人 们 还 是 一 直 使 用 具体 计数 这 种 “野蛮 ”的 方法 。 


考虑 到 人 口 普查 的 复杂 性 以 及 耗 时 耗费 的 特点 ， 政 府 极 少 进行 普查 。 古 
罗马 人 在 人 口 以 万 计数 的 时 候 每 $ 年 普查 一 次 。 美 国 完 法 规定 每 10 年 进行 一 
次 人 口 普 查 ， 因 为 随 春 国 家 人 口 越 来 越 多 ， 只 能 以 百 万 计数 了 。 但 是 到 19 H 
纪 为 止 ， 即 使 这 样 不 频 楷 的 人 口 普查 依然 很 困难 ， 因 为 数据 变化 的 速度 超过 
了 人 口 普 查 局 统计 分 析 的 能 力 。 


穿孔 卡片 与 美国 人 口 普查 E 

美国 在 1880 年 进行 的 人 口 普查 ， 耗 时 8 年 才 完 

成 数据 汇总 。 因 此 ,他 们 获得 的 很 多 数据 都 是 过 时 的 。 
1890 年 进行 的 人 口 普查 ， 预 计 要 花费 13 年 的 时 间 : 

O 来 汇总 数据 。 即 使 不 考虑 这 种 情况 违反 了 完 法 规定 ，: 
。 它 也 是 很 莞 雇 的 。 然 而 ， 因 为 税收 分 摊 和 国会 代表 。 
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QD AM RARH Sita WE NA A EA SAE Natural and Political Observations Made 
upon the Bills of Mortality。 尺 管 他 并 未 真正 给 出 一 种 有 效 的 办 法 来 推断 疾病 流行 时 的 人 口 
数 或 死亡 率 ， 但 是 他 首次 建立 了 区 分 各 年 龄 段 的 存活 率 表 ， 因 此 被 认为 是 人 口 统计 学 的 主 
要 创始 人 之 一 。 一 一 译 者 注 
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人 数 确定 都 是 建立 在 人 口 的 基础 上 的 ， 所 以 必须 要 
得 到 正确 的 数据 ， 而 且 必 须 是 及 时 的 数据 。 

美国 人 口 普 查 局 面临 的 问题 与 当代 商人 和 科学 
家 过 到 的 问题 很 相似 。 很 明显 ， 当 他 们 被 数据 淹没 
的 时 候 ， 已 有 的 数据 处 理工 具 已 经 难以 应 付 了 ， 所 
以 就 需要 有 更 多 的 新 技术 。 

后 来 ， 美 国人 口 普查 局 就 和 当时 的 美国 发 明 家 
HIRE - 霍 尔 瑞 斯 ( Herman Hollerith ) 签订 了 一 个 
协议 ， 用 他 的 穿孔 卡片 制 表 机 来 完成 1890 年 的 人 口 
普查 。 

经 过 大 量 的 努力 ， 霍 尔 瑞 斯 成 功 地 在 1 年 时 间 
内 完成 了 人 口 普 查 。 这 简直 就 是 一 个 奇迹 ， 它 标志 
着 自动 处 理 数据 的 开端 ， 也 为 后 来 IBM 公司 的 成 立 
葛 定 了 基础 。 但 是 ， 将 其 作为 收集 处 理 大 数据 的 方 
法 依然 过 于 昂贵 。 毕 竟 ， 每 个 美国 人 都 必须 填 一 张 
可 制 成 穿孔 卡片 的 表格 ， 然 后 再 进行 统计 。 这 么 麻 
烦 的 情况 下 ， 很 难 想象 如 果 不 足 十 年 就 要 进行 一 次 
人 口 普 查 应 该 怎么 办 。 但 是 ， 对 于 一 个 跨越 式 发 展 
的 国家 而 言 ， 十 年 一 次 的 人 口 普查 的 滞后 性 已 经 让 
普查 失去 了 大 部 分 意义 。 


i ELLE EILEEN 


这 就 是 问题 所 在 ， 是 利用 所 有 的 数据 还 是 仅仅 采用 一 部 分 呢 ?” 最 明智 的 
目 然 是 得 到 有 关 被 分 析 事 物 的 所 有 数据 ， 但 是 当 数量 无 比 庞 大 时 ， 这 又 不 太 
现实 。 那 如 何 选择 样本 呢 ? 有 人 提出 有 目的 地 选择 最 具 代表 性 的 样本 是 最 恰 
当 的 方法 。1934 年 ， 波 兰 统计 学 家 耶 日 . 奈 曼 (Jerzy Neyman) 指出 ， 这 只 
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01. 更 多 
不 是 随机 样本 ， 而 是 全 体 数 据 


会 导致 更 多 更 大 的 漏洞 。 事 实证 明 ， 问 题 的 关键 是 选择 样本 时 的 随机 人 性。 人 


统计 学 家 们 证 明 : 采样 分 析 的 精确 性 随 着 采样 随机 性 的 增加 而 大 幅 提 
高 ， 但 与 样本 数量 的 增加 关系 不 大 。 虽 然 听 起 来 很 不 可 思议 ， 但 事实 上 ,一 
个 对 1 100 人 进行 的 关于 “是 否 ” 问 题 的 抽样 调查 有 着 很 高 的 精确 性 ， 精 确 
度 甚至 超过 了 对 所 有 人 进行 调查 时 的 97%2。 这 是 真 的， 不 管 是 调查 10 万 人 
还 是 1 亿 人 ，20 次 调查 里 有 19 都 是 这 样 。 为 什么 会 这 样 ? 原因 很 复杂 ， 但 
是 有 一 个 比较 简单 的 解释 就 是 ， 当 样本 数量 达到 了 某 个 值 之 后 ， 我 们 从 新 个 
体 身 上 得 到 的 信息 会 越 来 越 少 ， 就 如 同 经 济 学 中 的 边际 效应 递减 一 样 。 


认为 样本 选择 的 随机 性 比 样本 数量 更 重要 ， 这 种 观点 是 非常 有 见地 的 。 
这 种 观点 为 我 们 开辟 了 一 条 收集 信息 的 新 站 路。 通过 收集 随机 样本 ， 我 们 可 
以 用 较 少 的 花费 做 出 高 精准 度 的 推 新 。 因 此 ， 政 府 每 年 都 可 以 用 随机 采样 的 
方法 进行 小 规模 的 人 口 普查 ， 而 不 是 只 能 每 十 年 进行 一 次 。 事 实 上 ， 政 府 也 
这 样 做 了 。 例 如 ， 除 了 十 年 一 次 的 人 口 大 普查 ， 美 国人 口 普查 局 每 年 都 会 用 
随机 采样 的 方法 对 经 济 和 人 口 进 行 200 多 次 小 规模 的 调查 。 当 收集 和 分 析 数 
据 都 不 容易 时 ， 随 机 采样 就 成 为 应 对 信息 过 量 的 办 法 。 


很 快 ， 随 机 采样 就 不 仅 应 用 于 公共 部 门 和 人 口 普查 了 。 在 商业 领域 ， 随 


在 对 一 个 量 (例如 年 收入 ) 进行 估计 的 时 候 ， 如 果 总 体 可 以 分 为 很 多 层 〈 例 如 所 有 人 口 按 
照 不 同年 龄 或 者 不 同 职业 分 成 很 多 层 ), 一 种 直观 的 想法 是 每 一 层 随 机 抽样 的 样本 大 小 应 该 
正比 于 这 个 层 所 包含 人 口 的 多 少 。 奈 曼 指 出 ， 最 优 分 配 并 非 如 此 简单 ， 实 际 上 ， 层 越 大 ， 
层 内 符 估 计量 的 变化 越 大 ， 该 层 抽样 的 单位 费用 越 小 ， 则 该 层 的 抽样 就 应 该 越 多 。 具 体 的 
公式 和 推导 过 程 可 以 参考 1934 FESH Journal of the Royal Statistical Society 上 发 表 的 “On 
the two different aspects of the representative method: The method of stratified sampling and the 
method of purposive selection” — XC. AE. 

D 此 处 指 对 回答 “是 ”的 概率 的 估计 精度 可 以 达到 97% 左右 ， 也 就 是 说 估计 值 的 标准 差 在 
3% 左右 。 一 一 译 者 注 
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机 采样 被 用 来 监管 商品 质量 。 这 使 得 监管 商品 质量 和 提升 商品 品质 变 得 更 容 
多 ， 化 费 也 更 少 。 以 前 ,全 面 的 质量 监管 要 求 对 生产 出 来 的 每 个 产品 进行 检 
查 ， 而 现在 只 需 从 一 批 商品 中 随机 抽取 部 分 样品 进行 检查 就 可 以 了 。 本 质 上 
来 说 ， 随 机 采样 让 大 数据 问题 变 得 更 加 切实 可 行 。 同 理 ， 它 将 客户 调查 引进 
了 和 零售 行业 ， 将 焦点 讨论 引进 了 政治 界 ， 也 将 许多 人 文 问 题 变 成 了 社会 科学 
问题 。 


随机 采样 取得 了 巨大 的 成 功 ， 成 为 现代 社会 、 现 代 测 量 领域 的 主心骨 。 
但 这 只 是 一 条 捷径 ， 是 在 不 可 收集 和 分 析 全 部 数据 的 情况 下 的 选择 ， 它 本 身 
存在 许多 固有 的 缺陷 。 它 的 成 功 依赖 于 采样 的 绝对 随机 性 ,但 是 实现 采样 的 
随机 性 非常 困难 。 一 旦 采样 过 程 中 存在 任何 偏见 ， 分 析 结 果 就 会 相去 其 远 。 


最 近 ， 以 固定 电话 用 户 为 基础 进行 投票 民 调 就 面临 了 这 样 的 问题 ， 采 样 
号 乏 随 机 性 ， 因 为 没有 考虑 到 只 使 用 移动 电话 的 用 户 一 一 这 些 用 户 一 般 更 年 
轻 和 更 热爱 目 由 。 没 有 考虑 到 这 些 用 户 ， 自 然 就 得 不 到 正确 的 预测 。2008 年 
在 奥巴马 与 朗 凯 恩 之 间 进 行 的 美国 总 统 大 选中 ， 盖 洛 普 咨 询 公 司 、 皮 尤 研 究 
中 心 (Pew )、 美 国 广播 公司 和 华盛顿 邮 报 这 些 主要 的 民 调 组 织 都 发 现 ， 如 果 
他 们 不 把 移动 用 户 考虑 进来 ， 民 意 测试 结果 就 会 出 现 三 个 点 的 偏差 ， 而 一 旦 
ESR, WFR RATS. EPR KAHN BAG RAs, KOA 
是 非常 大 的 偏差 了 。 


更 糖 糙 的 是 ， 随 机 采样 不 适合 考察 子 类 别 的 情况 。 因 为 一 旦 继续 细 分 ， 
随机 采样 结 采 的 错误 率 会 大 大 增加 。 这 很 容易 理解 。 倘 若 你 有 一 份 随机 采样 
的 调查 结果 ， 是 关于 1 000 个 人 在 下 一 次 竞选 中 的 投票 意向 。 如 果 采 样 时 足 
够 随机 ， 这 份 调查 的 结果 就 有 可 能 在 3% 的 误差 范围 内 显示 全 民 的 意向 。 但 
EMRAT 3% 左右 的 误差 本 来 就 是 不 确定 的 ， 却 又 把 这 个 调查 结果 根据 性 
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别 、 地 域 和 收入 进行 细 分 ， 结 果 是 不 是 越 来 越 不 准确 呢 ? 用 这 些 细 分 过 后 的 
结果 来 表现 全 民 的 意愿 ， 是 否 合适 呢 ? 


你 设想 一 下 , 一 个 对 1 000 个 人 进行 的 调查 ,如 果 要 细 分 到 “ 东 
北部 的 富裕 女性 ”， 调 查 的 人 数 就 远 远 少 于 1 000 人 了 。 即 使 是 完全 
随机 的 调查 ， 倘 若 只 用 了 几 十 个 人 来 预测 整个 东北 部 富裕 女性 选民 
的 意愿 ， 还 是 不 可 能 得 到 精确 结果 啊 ! 而 且 ， 一 旦 采样 过 程 中 存在 
任何 偏见 ， 在 细 分 领域 所 做 的 预测 就 会 大 错 特 错 。 


因此 ， 当 人 们 想 了 解 更 深层 次 的 细 分 领域 的 情况 时 ， 随 机 采样 的 方法 就 
不 可 取 了 。 在 宏观 领域 起 作用 的 方法 在 微观 领域 失去 了 作用 。 随 机 采样 就 像 
征 模 拟 照片 打印 ， 远 看 很 不 错 ， 但 是 一 旦 聚焦 某 个 点 ， 就 会 变 得 模糊 不 清 。 


随机 采样 也 需要 严密 的 安排 和 执行 。 人 们 只 能 从 采样 数据 中 得 出 事先 设 
计 好 的 问题 的 结果 一 一 千 万 不 要 奢求 采样 的 数据 还 能 回答 你 突然 意识 到 的 问 
题 。 所 以 虽说 随机 采样 是 一 条 捷径 ， 但 它 也 只 是 一 条 捷径 。 随 机 采样 方法 并 
不 适用 于 一 切 情况 ， 因 为 这 种 调查 结果 缺乏 延展 性 ， 即 调查 得 出 的 数据 不 可 
以 重新 分 析 以 实现 计划 之 外 的 目的 。 


我 们 来 看 一 下 DNA 分 析 。 由 于 技术 成 本 大 幅 下 跌 以 及 在 医学 方面 的 广 
除 前景 ,个 人 基因 排序 成 为 了 一 门 新 兴 产 业 。2012 年 ， 基 因 组 解码 的 价格 跌 
WX 1 000 美元 ， 这 也 是 非 正 式 的 行业 平均 水 平 。 从 2007 年 起 ， 硅 谷 的 新 兴 科 
技 公司 23andme 就 开始 分 析 人 类 基因 ， 价 格 仅 为 几 百 美元 。 这 可 以 揭示 出 人 
类 遗传 密码 中 一 些 会 导致 其 对 某 些 疾病 抵抗 力 差 的 特征 ， 如 乳腺 癌 和 心脏 病 。 
23andme 希望 能 通过 整合 顾客 的 DNA 和 健康 信息 ， 了 解 到 用 其 他 方式 不 能 
获取 的 新 信息 。 
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公司 对 某 人 的 一 小 部 分 DNA 进行 排序 ， 标 注 出 几 十 个 特定 的 基因 缺陷 。 
这 只 是 该 人 整个 基因 密码 的 样本 ， 还 有 几 十 亿 个 基因 碱 基 对 未 排序 。 最 后 ， 
23andme 只 能 回答 它们 标注 过 的 基因 组 表现 出 来 的 问题 。 发 现 新 标注 时 ， 该 
人 的 DNA 必须 重新 排序 ， 更 准确 地 说 ， 是 相关 的 部 分 必须 重新 排列 。 只 研 
KFA DERE, APAY. 能 更 快 更 容易 地 发 现 问题 ， 但 不 能 回答 事先 
未 考虑 到 的 问题 。 


大 数据 与 乔布斯 的 癌症 治疗 F 
苹果 公司 的 传奇 总 裁 史 蒂 夫 .乔布斯 在 与 癌症 斗 | 
争 的 过 程 中 采用 了 不 同 的 方式 ， 成 为 世界 上 第 一 个 : 
对 自身 所 有 DNA 和 肿瘤 DNA 进行 排序 的 人 。 为 此 ， | 
他 支付 了 高 达 几 十 万 美元 的 费用 ， 这 是 Bandme HR 
价 的 几 百倍 之 多 。 所 以 ， 他 得 到 的 不 是 一 个 只 有 一 ; 
系列 标记 的 样本 ， 他 得 到 了 包括 整个 基因 密码 的 数 TTT 
据 文档 。 
对 于 一 个 普通 的 癌症 患者 ， 医 生 只 能 期 望 她 的 
nner ran: 
蒂 夫 .乔布斯 的 医生 们 能 够 基于 乔布斯 的 特定 基因 
组 成 ， 按 所 需 效果 用 药 。 如 果 瘤 症 病变 导致 药物 失 
效 ， 医 生 可 以 及 时 更 换 另 一 种 药 ， 也 就 是 乔布斯 所 
说 的 , “从 一 片 睡 莲 叶 跳 到 另 一 片上 。” 乔 布 斯 开 玩 
笑 说 :“ 我 要 么 是 第 一 个 通过 这 种 方式 战胜 癌症 的 
A, 要 么 就 是 最 后 一 个 因为 这 种 方式 死 于 癌症 的 人 。 
虽然 他 的 愿望 都 没有 实现 ， 但 是 这 种 获得 所 有 数据 
而 不 仪征 桩 不 的 方法 还 是 将 他 的 生命 


a 
站 


BU; UONNIOASH y ! 


ë à 
> D 
è s 
s a 
+ > 
rer eezctias > ee ee ee 
3 
-+ 
- 
" 
á 
7 
e 
a 
a 
> 
, 
4 
« 
HUIU | BUR MOM 
« > 
> = 
? « 
要 ” 
“ d 
” p 
a á 
s > 
te s 
ft + 
3 * 
~ t 
~ 
PRCT ETE FRSA HHT PEC ESOC LHP HERP Seas ianeewsveraegciaa 


DATI SAA MOL, WOISUBLL AA? 


01. 更 多 
不 是 随机 样本 ， 而 是 全 体 数 据 


全 数据 模式 ， 样 本 = 总 体 


在 信息 处 理 能 力 受 限 的 时 代 ， 世 界 需 要 数据 分 析 ， 却 缺少 用 来 分 析 所 收 
集 数 据 的 工具 ， 因 此 随机 采样 应 运 而 生 ， 它 也 可 以 被 视 为 那个 时 代 的 产物 。 
如 今 ， 计 算 和 制 表 不 再 像 过 去 一 样 困 难 。 感 应 锅 、 手 机 寻 航 、 网 站 氮 击 和 
twitter 被 动 地 收集 了 大 量 数据 ， 而 计算 机 可 以 轻易 地 对 这 些 煞 据 进行 处 理 。 





采样 的 目的 就 是 用 最 少 的 数据 得 到 最 多 的 信息 。 当 我 们 可 以 获得 海量 数 
据 的 时 候 ， 它 就 没有 什么 意义 了 。 数 据 处 理 技术 已 经 发 生 了 翻天 窗 地 的 改变 ， 
但 我 们 的 方法 和 思维 却 没 有 跟 上 这 种 改变 。 


然而 ， 采 样 一 直 有 一 个 被 我 们 广泛 承认 却 又 总 有 意 避 开 的 缺陷 ， 现 在 这 
个 缺陷 越 来 越 难以 忽视 了 。 和 采样 忽 钢 了 细节 考察 。 虽 然 我 们 别 无 选择 ， 只 能 
利用 采样 分 析 法 来 进行 考察 ， 但 是 在 很 多 领域 ， 从 收集 部 分 数据 到 收集 尽 可 
能 多 的 数据 的 转变 已 经 发 生 了 。 如 果 可 能 的 话 ， 我 们 会 收集 所 有 的 数据 ， 即 
“样本 = 总体”。 


正如 我 们 所 看 到 的 ,“ 样 本 = 总体” 是 指 我 们 能 对 数据 进行 深度 探讨 ， 
而 采样 几乎 无 法 达到 这 样 的 效果 。 上 面 提 到 的 有 关 采 样 的 例子 证 明 ， 用 采样 
的 方法 分 析 整 个 人 口 的 情况 ， 正 确 率 可 达 97%。 对 于 茶 些 事物 来 说 ，3% 的 
错误 率 是 可 以 接受 的 。 但 是 你 无 法 得 到 一 些微 观 细 节 的 信息 ， 甚 至 还 会 失去 
对 某 些 特定 子 类 别 进 行进 一 步 研究 的 能 力 。 正 态 分 布 是 标准 的 。 生 活 中 真正 
有 趣 的 事情 经 常 藏匿 在 细节 之 中 ， 而 采样 分 析 法 却 无 法 捕捉 到 这 些 细 让 。 


谷歌 流感 趋势 预测 并 不 是 依赖 于 对 随机 样本 的 分 析 ， 而 是 分 析 
了 整个 美国 几 十 亿 条 互联 网 检索 记录 。 分 析 整 个 数据 库 ， 而 不 是 对 
一 个 样本 进行 分 析 ， 能 够 提高 微观 层面 分 析 的 准确 性 ， 甚 至 能 够 推 
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测 出 某 个 特定 城市 的 流感 状况 ， 而 不 只 是 一 个 州 或 是 整个 国家 的 情 
况 。Farecast 的 初始 系统 使 用 的 样本 包含 12 000 个 数据 ， 所 以 取得 
了 不 错 的 预测 结果 。 但 是 随 着 奥 伦 . 埃 齐 奥 尼 不 断 添 加 更 多 的 数据 ， 
预测 的 结果 越 来 越 准 确 。 最 终 ，Farecast 使 用 了 每 一 条 航线 整整 一 
年 的 价格 数据 来 进行 预测 。 埃 齐 奥 尼 说 :“ 这 只 是 一 个 暂时 性 的 数据 ， 
随 着 你 收集 的 数据 越 来 越 多 ， 你 的 预测 结果 会 越 来 越 准确 。 


所 以 ,我 们 现在 经 常会 放弃 样本 分 析 这 条 捷径 ， 选 择 收集 全 面 而 完整 的 
数据 。 我 们 需要 足够 的 数据 处 理 和 存储 能 力 ， 也 需要 最 先进 的 分 析 技 术 。 同 
时 ,简单 廉价 的 数据 收集 方法 也 很 重要 。 过 去 ， 这些 问题 中 的 任何 一 个 都 很 
棘手 。 在 一 个 资源 有 限 的 时 代 ， 要 解决 这 些 问题 需要 付出 很 高 的 代价 。 但 是 
现在 ， 解 决 这 些 难 题 已 经 变 得 简单 容易 得 多 。 曾 经 只 有 大 公司 才能 做 到 的 事 
情 ， 现 在 绝 大 部 分 的 公司 都 可 以 做 到 了 。 


通过 使 用 所 有 的 数据 ， 我 们 可 以 发 现 如 阁 不 然则 将 会 在 大 量 数据 中 淹没 
掉 的 情况 。 例 如 ， 信 用 卡 诈 骗 是 通过 观察 异常 情况 来 识别 的 ， 只 有 和 擎 握 了 所 
有 的 数据 才能 做 到 这 一 点 。 在 这 种 情况 下 ， 异常 值 是 最 有 用 的 信息 ， 你 可 以 
把 它 与 正常 交易 情况 进行 对 比 。 这 是 一 个 大 数据 问题 。 而 且 ， 因 为 区 多 是 即 
时 的 ， 所 以 你 的 数据 分 析 也 应 该 是 即时 的 。 


Xoom 与 跨 境 汇款 异常 交易 报警 | : 
Xoom 是 一 个 专门 从 事 跨 境 汇款 业务 的 公司 ，: : 
得 到 了 很 多 拥有 大 数据 的 大 公司 的 支持 。 它 会 
一 笔 交易 的 所 有 相关 数据 ， 一 旦 发 现 用 “发 现 ; : 
”从 新 泽 西 州 汇款 的 交易 比 平常 多 的 话 ， 系 统 就  : 
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z 会 报警 。Xoom 公司 的 首席 执行 官 约翰 : FL (John : 
| Kunze) 解释 说 :“ 这 个 系统 关注 的 是 不 应 该 出 现 的 

。 情况 。 ”单独 来 看 ， 每 笔 交 易 都 是 合法 的 ， 但 是 事实 

:证明 这 是 一 个 犯罪 集团 在 试图 诈骗 。 而 发 现 异常 的 
唯一 方法 就 是 ， 重 新 检查 所 有 的 数据 ， 找 出 样本 分 

。 析 法 错过 的 信息 。 


~ 
de ed dd Eo eb dA dd A A A ed A ENED ERE UETENE EPROP EMOE LEVEE RT TE NTIR SERRE ROT TFET TIT 


然而 ,使 用 所 有 的 数据 并 不 代表 这 是 一 项 艰巨 的 任务 。 大 数据 中 的 “大 ” 
个 征 绝 对 意义 上 的 大 ， 虽 然 在 大 多 数 情况 下 是 这 个 意思 。 谷 歌 流感 趋势 预测 
建立 在 数 亿 的 数学 模型 上 ， 而 它们 又 建立 在 数 十 亿 数 据 节 点 的 基础 之 上 。 完 
整 的 人 体 基因 组 有 约 30 亿 个 碱 基 对 。 但 这 只 是 单纯 的 数据 节点 的 绝对 数量 ， 
并 不 代表 它们 就 是 大 数据 。 大 数据 是 指 不 用 随机 分 析 法 这 样 的 捷径 ， 而 采用 
所 有 数据 的 方法 。 谷 歌 流感 趋势 和 乔布斯 的 医生 们 采取 的 就 是 大 数据 的 方法 。 


日 本 国民 体育 运动 “ 相 扑 ”中 非法 操纵 比赛 结果 的 发 现 ， 就 恰到好处 地 
说 明了 使 用 “样本 = 总 体 ” 这 种 全 数据 模式 的 重要 性 。 消 极 比 赛 一 直 被 极力 
答 止 ， 备 受 读 责 ， 很 多 运动 员 深 受 困扰 。 芝 加 哥 大 学 的 一 位 很 有 前 途 的 经 济 
学 家 斯 带 夫 : 列 维特 (Steven Levitt )， 在 《美国 经 济 评论 》 上 发 表 了 一 篇 研 
究 论 文 ， 其 中 提 到 了 一 种 发 现 这 个 情况 的 方法 : 查看 运动 员 过 去 所 有 的 比赛 
资料 。 他 的 畅销 书 《 魔 鬼 经 济 学 》( Freakonomics ) 中 也 提 到 了 这 个 观点 ， 他 
认为 检查 所 有 的 数据 是 非常 有 价值 的 。 


列 维特 和 他 的 同事 马克 达 根 (Mark Duggan ) 使 用 了 11 年 中 超过 64 000 
场 摔 跤 比赛 的 记录 ， 来 寻找 异常 性 。 他 们 获得 了 重大 的 发 现 。 非 法 操纵 比赛 结 
采 的 情况 确实 时 有 发 生 ， 但 是 不 会 出 现在 大 家 很 关注 的 比赛 上 。 和 冠军 赛 也 有 可 
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能 被 操纵 ， 但 是 数据 显示 消极 比赛 主要 还 是 出 现在 不 太 被 关注 的 联赛 的 后 几 场 
中 。 这 时 基本 上 没有 什么 风险 ， 因 为 选手 根本 就 没有 获奖 的 希望 。 


但 是 相 扑 比赛 的 一 个 比较 特殊 的 地 方 是 ， 选 手 需 要 在 15 场 联赛 中 的 大 部 
分 场次 取得 胜利 才能 保持 排名 和 收入 。 这 样 一 来 就 会 出 现 利 益 不 对 称 的 问题 。 
当 一 个 7 胜 7 负 的 摔跤 手 碰 到 一 个 8 胜 6 负 的 对 手 时 ， 比 赛 结果 对 第 一 个 选 
手 来 说 极其 重要 ， 对 他 的 对 手 则 没有 那么 重要 。 列 维特 和 达 根 发 现 ， 在 这 样 
的 情况 下 ， 需 要 赢 的 那个 选手 很 可 能 会 赢 。 这 看 起 来 像 是 对 手 送 的 “礼物 ”， 
因为 在 联系 紧密 的 相 扑 界 ， 帮 别人 一 把 就 是 给 自己 留 了 一 条 后 路 。 


有 没有 可 能 是 要 赢 的 决心 帮助 这 个 选手 获胜 呢 ? 答案 是 ， 有 可 能 。 但 是 
数据 显示 的 情况 是 ,需要 启 的 选手 的 求 胜 心 也 只 是 比 平 党 高 了 25%。 所 以 ， 
把 胜利 完全 归功 于 求 胜 心 是 不 妥当 的 。 对 数据 进行 进一步 分 析 可 能 会 发 现 ， 
与 他 们 在 前 三 四 次 比赛 中 的 表现 相 比 ， 当 他 们 再 相遇 时 ， 上 次 失利 的 一 方 要 
拥有 比 对 方 多 3~4 倍 的 胜率 。 


这 个 情况 是 显而易见 的 。 但 是 如 果 采 用 随机 采样 分 析 法 ， 就 无 法 发 现 这 
个 情况 。 而 大 数据 分 析 通 过 使 用 所 有 比赛 的 极 大 数据 捕捉 到 了 这 个 情况 。 这 
就 像 捕 鱼 一 样 ， 开 始 时 你 不 知道 是 否 能 捕 到 鱼 ， 也 不 知道 会 捕 到 什么 鱼 。 


一 个 数据 库 并 不 需要 有 以 太 字 节 ” 计 的 数据 。 在 这 个 相 扑 案例 中 ， 整 个 
数据 库 包 含 的 字 节 量 还 不 如 一 张 普通 的 数码 照片 包含 得 多 。 但 是 大 数据 分 析 
法 不 只 关注 一 个 随机 的 样本 。 这 里 的 “大 ” 取 的 是 相对 意义 而 不 是 绝对 意义 ， 
也 就 是 说 这 是 相对 所 有 数据 来 说 的 。 
很 长 一 段 时 间 内 ， 随 机 采样 都 是 一 条 好 的 捷径 ， 它 使 得 数字 时 代 之 前 
D AFR, 一 般 记 作 BB,， 等 于 2 字 节 。 一 一 译 者 注 
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01. 更 多 
不 是 随机 样本 ， 而 是 全 体 数据 


的 大 量 数据 分 析 变 得 可 能 。 但 就 像 把 一 张 数码 照片 或 者 一 首 数码 歌曲 截取 成 
多 个 小 文件 似 的 ， 在 采样 分 析 的 时 候 ， 很 多 信息 都 无 法 得 到 。 拥 有 全 部 或 
几乎 全 部 的 数据 ， 我 们 就 能 够 从 不 同 的 角度 ， 更 细致 地 观察 研究 数据 的 方 方 
面 面 。 


我 们 可 以 用 Lytro 相机 来 打 一 个 恰当 的 比方 。Lytro 相机 具有 全 
新 性 的 ， 因 为 它 把 大 数据 运用 到 了 基本 的 摄影 中 。 与 传统 相机 只 可 
以 记录 一 来 光 不 同 ，Lytro 相机 可 以 记录 整个 光 场 里 所 有 的 光 ， 达 到 
1 100 万 之 多 。 具 体 生成 什么 样 的 照片 则 可 以 在 拍摄 之 后 再 根据 需 
要 决定 。 用 户 没 必 要 在 一 开始 就 聚焦 ， 因 为 该 相机 可 以 捕 提 到 所 有 
的 数据 ， 所 以 之 后 可 以 选择 聚焦 图 像 中 的 任 一 点 。 整 个 光 场 的 光束 
都 被 记录 了 ， 也 就 是 收集 了 所 有 的 数据 ,“ 样 本 = RR", Ast, 5 
普通 照片 相 比 ， 这 些 照 片 就 更 具 “ 循 环 性 "”。 如 果 使 用 普通 相机 ， 摄 
影 师 就 必须 在 拍照 之 前 决定 好 聚焦 点 。 


同 理 ， 因 为 大 数据 是 建立 在 掌握 所 有 数据 ， 至 少 是 尽 可 能 多 的 数据 的 基 
础 上 的 ， 所 以 我 们 就 可 以 正确 地 考察 细节 并 进行 新 的 分 析 。 在 任何 细微 的 层 
面 ， 我 们 都 可 以 用 大 数据 去 论证 新 的 假设 。 是 大 数据 让 我 们 发 现 了 相 扑 中 的 
非法 操纵 比赛 结果 、 流 感 的 传播 区 域 和 对 抗 癌症 需要 针对 的 那 部 分 DNA, È 
让 我 们 能 清楚 分 析 微观 层面 的 情况 。 


当然 ， 有 些 时 候 ， 我 们 还 是 可 以 使 用 样本 分 析 法 ， 毕 竞 我 们 仍然 活 在 一 
个 资源 有 限 的 时 代 。 但 是 更 多 时 候 ， 利 用 手中 营 握 的 所 有 数据 成 为 了 最 好 也 
是 可 行 的 选择 。 

社会 科学 是 被 “样本 = 总体” 撼动 得 最 厉害 的 学 科 。 随 着 大 数据 分 析 取 
代 了 样本 分 析 ， 社 会 科学 不 再 单纯 依赖 于 分 析 经 验 数据 。 这 门 学 科 过 去 曾 非 
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大 数据 时 代 


常 依赖 样本 分 析 、 研 究 和 调查 问卷 。 当 记录 下 来 的 是 人 们 的 平常 状态 ， 也 就 
不 用 担心 在 做 研究 和 调查 问卷 时 存在 的 偏见 ”了 。 现 在 ,我 们 可 以 收集 过 去 
无 法 收集 到 的 信息 ， 不 管 是 通过 移动 电话 表现 出 的 关系 ， 还 是 通过 twitter 信 
息 表现 出 的 感情 。 更 重要 的 是 ,我 们 现在 也 不 再 依赖 抽样 调查 了 。 


AR - 拉 斯 洛 * 巴 拉巴 西 ( Albert-Laszl6 Barabisi ) 2， 和 他 的 同事 想 研 
究 人 与 人 之 间 的 互动 。 于 是 他 们 调查 了 四 个 月 内 所 有 的 移动 通信 记录 一 一 当 
然 是 匿名 的 ， 这 些 记录 是 一 个 为 全 美 五 分 之 一 人 口 提供 服务 的 无 线 运 营 商 提 
供 的 。 这 是 第 一 次 在 全 社会 层面 用 接近 于 “样本 = 总体 ”的 数据 资料 进行 网 
络 分 析 。 通 过 观察 数 百 万 人 的 所 有 通信 记录 ， 我 们 可 以 产生 也 许 通过 任何 其 
他 方式 都 无 法 产生 的 新 观点 。 


有 趣 的 是 ， 与 小 规模 的 研究 相 比 ， 这 个 团队 发 现 ， 如 有 果 把 一 个 在 社区 内 
有 很 多 连接 关系 的 人 从 社区 关系 网 中 史 除 开 来 ， 这 个 关系 网 会 变 得 没 那么 高 
效 但 却 不 会 解体 ; 但 如 果 把 一 个 与 所 在 社区 之 外 的 很 多 人 有 着 连接 关系 的 人 
从 这 个 关系 网 中 剔除 ， 整 个 关系 网 很 快 就 会 破碎 成 很 多 小 块 。 ”这 个 研究 结 
果 非 常 重要 也 非常 的 出 人 意料 。 谁 能 想象 一 个 在 关系 网 内 有 看 众多 好 友 的 人 


D 这 种 偏见 既 包 括 研究 者 设计 实验 和 问卷 时 的 偏差 ， 也 包括 被 试 人 员 由 于 了 解 目 己 作 为 被 试 
的 角色 而 产生 的 不 同 于 日 常 的 心理 和 行为 。 一 一 译 者 注 

D 全 球 最 权威 的 复杂 网 络 研究 专家 之 一 ， 其 最 新 作品 《爆发 》( Bursts) 是 大 数据 新 科学 范式 
的 典型 代表 ， 该 书 的 简体 中 文 版 已 由 湛 庐 文化 策划 、 中 国人 民 大 学 出 版 社 出 版 ， 推 荐 与 本 
书 参照 阅读 。 一 一 译 者 注 

@ 作者 对 这 项 研究 的 理解 稍 有 不 妥 。 该 研究 并 未 关注 从 网 络 中 移 除 节 点 (手机 用 户 ) 的 情形 ， 
而 是 考察 从 网 络 中 移 除 链 路 (通话 关系 ) 对 网 络 结构 的 影响 。 依 鉴 渗流 理论 ( Percolation 
Theory )， 作 者 发 现 ， 移 除 弱 关系 而 非 强 关系 反而 会 导致 快速 破碎 成 春 干 小 碎片 。 详 细 分 析 
可 以 参考 Onnela 等 人 2007 年 在 《美国 科学 院 院 刊 》 上 发 表 的 “Structure and tie strengths 
in mobile communication networks” 一 文 。 一 一 译 者 注 
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01. 更 多 
不 是 随机 样本 ， 而 是 全 体 数据 


的 重要 性 还 不 如 一 个 只 是 与 很 多 关系 网 外 的 人 联系 的 人 呢 ” 这 说 明 一 般 来 说 
无 论 是 一 个 集体 还 是 一 个 社会 ， 多 样 性 是 有 额外 价值 的 。 这 个 结果 促使 我 们 
重新 审视 一 个 人 在 社会 关系 网 中 的 存在 价值 。 


我 们 总 是 习惯 把 统计 抽样 看 做 文明 得 以 建立 的 牢固 基 
BIG DATA | 五 束 如 同 几 何 学 定理 和 万 有 引力 定律 一 样 。 但 是 统计 才 
ey | 样 其 实 只 是 为 了 在 技术 受 限 的 特定 时 期 ， 解 决 当时 存在 的 
Wore cet SS | 一 些 特定 问题 而 产生 的 ， 其 历史 尚 不 足 一 百年 。 如 今 ， 技 
大 数据 洞察 术 环 境 已 经 有 了 很 大 的 改善 。 在 大 数据 时 代 进行 抽样 分 析 
就 像 是 在 汽车 时 代 骑 马 一 样 。 在 某 些 特定 的 情况 下 ， 我 们 
依然 可 以 使 用 样本 分 析 法 ， 但 这 不 再 是 我 们 分 析 数据 的 主 

要 方式 。 慢 慢 地 ， 我 们 会 完全 抛弃 样本 分 析 。 
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a 
不 是 精确 性 ， 而 是 混杂 性 


执 迷 于 精确 性 是 信息 缺乏 时 代 和 模拟 时 代 的 产物 。 
只 有 5% 的 数据 是 有 框架 且 能 适用 于 传统 数据 库 
的 。 如 果 不 接受 混乱 ， 剩 下 95% 的 非 框 架 数 据 都 
无 法 被 利用 ， 只 有 接受 不 精确 性 ， 我 们 才能 打开 
一 扇 从 未 涉足 的 世界 的 窗户 。 





【 大 数据 先锋 】 

微软 与 语料库 数据 添加 

IBM Candidate 计算 机 翻译 项 目 
无 所 不 包 的 谷歌 翻译 系统 
英国 石油 公司 与 无 线 感应 器 

麻 省 理工 与 通货 紧缩 预测 软件 
Hadoop 与 VISA 的 13 分 钟 





A Revolution That 
Will Transform How We Live, 
Work, and Think 
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允许 不 精确 


在 越 来 越 多 的 情况 下 ， 使 用 所 有 可 获取 的 数据 变 得 更 为 可 能 ， 但 为 此 也 
要 付出 一 定 的 代价 。 数 据 量 的 大 幅 增加 会 造成 结果 的 不 准确 ， 与 此 同时 ， 一 
些 错误 的 数据 也 会 混 进 数据 库 。 然 而 ， 重 点 是 我 们 能 够 努力 避免 这 些 问题 。 
我 们 从 不 认为 这 些 问 题 是 无 法 避免 的 ， 而 且 也 正在 学 会 接受 它们 。 这 融 是 由 
“小 数据 ”到 “大 数据 ”的 重要 转变 之 一 。 


对 “小 数据 ”而 言 ， 最 基本 、 最 重要 的 要 求 就 是 减少 错误 ,你 证 质量 。 
因为 收集 的 信息 量 比较 少 ， 所 以 我 们 必须 确保 记录 下 来 的 数据 尽量 精确 。 无 
论 是 观察 天 体 的 位 置 还 是 观测 显微镜 下 物体 的 大 小 ， 为 了 使 结果 更 加 准确 ， 
很 多 科学 家 都 致力 于 优化 测量 的 工具 。 在 采样 的 时 候 ， 对 精确 度 的 要 求 束 更 
高 更 苛刻 了 。 因 为 收集 信息 的 有 限 意味 着 细微 的 错误 会 被 放大 ， 甚 至 有 可 能 
影响 整个 结果 的 准确 性 。 
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02. 更 杂 
不 是 精确 性 ， 而 是 混杂 性 


历史 上 很 多 时 候 ， 人 们 会 把 通过 测量 世界 来 征服 世界 视 为 最 大 的 成 就 。 
事实 上 ， 对 精确 度 的 高 要 求 始 于 13 世纪 中 期 的 欧洲 。 那 时 候 ， 天 文学 家 和 学 
者 对 时 间 、 空 间 的 研究 采取 了 上 比 以 往 更 为 精确 的 量化 方式 ， 用 历史 学 家 阿尔 
Je Efa e SLA TLE (Alfred Crosby ) 的 话 来 说 就 是 “测量 现实 ”。 


我 们 研究 一 个 现象 ， 是 因为 我 们 相信 我 们 能 够 理解 它 。 后 来 ,测量 方法 
逐渐 锌 运用 到 科学 观察 、 解 释 方法 中 ， 体 现 为 一 种 进行 量化 研究 、 记 录 ， 并 
呈现 可 重复 结果 的 能 力 。 罗 德 * 凯 文 (Lord Kelvin) 曾 说 过 :“ 测 量 就 是 认 
车 。” 这 已 成 为 一 条 至 理 名 言 。 培 根 也 曾 说 过 :“ 知 识 就 是 力量 。” 同 时， 很 多 
数学 家 以 及 后 来 的 精算 师 和 会 计 师 都 发 展 了 可 以 准确 收集 、 记 录 和 管理 数据 
的 方法 。 | 

19 世纪 , 科技 率先 发 展 起 来 的 法 国 开发 了 一 套 能 准确 计量 时 间 、 

空间 单位 的 系统 ， 并 逐渐 成 为 其 他 国家 普遍 采用 的 标准 ， 这 套 系统 

还 为 后 来 国际 公认 的 测量 条 约 黄 定 了 基础 ， 成 为 测量 时 代 的 其 峰 。 

仅 半 个 世纪 之 后 ，20 世纪 20 年代， 量子 力学 的 发 现 永远 粉 碎 了 “ 测 

量 至 于 至 善 ” 的 幻梦 。 然 而 ， 在 物理 学 这 个 小 园子 以 外 的 一 些 测 量 

工程 师 和 科学 家 仍 沉 酒 在 完美 测量 的 梦 中 。 随 着 理性 学 科 ， 如 数学 

和 统计 学 逐渐 影响 到 商业 领域 ， 商 业界 更 加 崇尚 这 种 思想 。 


然而 ， 在 不 断 涌现 的 新 情况 里 ， 允 许 不 精确 的 出 现 已 经 成 为 一 个 新 的 亮 
太 ， 而 非 缺 点 。 因 为 放松 了 容错 的 标准 ， 人 们 掌握 的 数据 也 多 了 起 来 ， 还 可 
以 利用 这 些 数据 做 更 多 新 的 事情 。 这 样 就 不 是 大 量 数据 优 于 少量 数据 那么 简 
单 了 ， 而 是 大 量 数据 创造 了 更 好 的 结果 。 


同时 ， 我 们 需要 与 各 种 各 样 的 混乱 做 斗争 。 混 乱 ， 简 单 地 说 就 是 随 着 数 
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据 的 增加 ， 错 误 率 也 会 相应 增加 。 所 以 ， 如 果 桥 梁 的 压力 数据 量 增加 1 000 
倍 的 话 ， 其 中 的 部 分 读数 就 可 能 是 错误 的 ， 而 且 随 春 读 数量 的 增加 ， 错 误 率 
可 能 也 会 继续 增加 。 在 整合 来 源 不 同 的 各 类 信息 的 时 候 ， 因 为 它们 通常 不 完 
全 一 致 ， 所 以 也 会 加 大 混乱 程度 。 例 如 ， 与 服务 硕 处 理 投 诉 时 的 数据 进行 比 
较 ， 用 语音 识别 系统 识别 某 个 呼叫 中 心 接 到 的 投诉 会 产生 一 个 不 太 准 确 的 结 
R, 但 也 是 有 助 于 我 们 把 握 整 个 事情 的 大 致 情况 的 。 


混乱 还 可 以 指 格式 的 不 一 致 性 ， 因 为 要 达到 格式 一 致 ， 就 需要 在 进行 数 
据 处 理 之 前 仔细 地 清洗 数据 ， 而 这 在 大 数据 背景 下 很 难 做 到 。 “大 数据 ” 专 
Z HIER (DJ Patil) 指出 ，LB.M.、T.J. Watson Labs, International Business 
Machines 都 可 以 用 来 指 代 IBM, 甚至 可 能 有 成 千 上 万 种 方法 称呼 TBM。 当 然 ， 
在 茜 取 或 处 理 数据 的 时 候 ， 混乱 也 会 发 生 。 因 为 在 进行 数据 转化 的 时 候 ， 我 
们 是 在 把 它 变 成 另外 的 事物 。 比 如 ， 我 们 在 对 twitter 的 信息 进行 情感 分 析 来 
预测 好 莱 坞 票房 的 时 候 ， 就 会 出 现 一 定 的 混乱 。 其 实 ， 混 乱 的 起 源 和 类 型 本 
来 就 是 一 团 乱 及 。 


假设 你 要 测量 一 个 葡萄 园 的 温度 ， 但 是 整个 葡萄 园 只 有 一 个 温 
度 测 量 仪 ， 那 你 就 必须 确保 这 个 测试 仪 是 精确 的 而 且 能 够 一 直 工 作 。 
反 过 来 ， 如 果 每 100 棵 葡 欧 树 就 有 一 个 测量 仪 ， 有 些 测 试 的 数据 可 
能 会 是 错误 的 ， 也 可 能 会 更 加 混乱 ， 但 众多 的 读数 合 起 来 就 可 以 提 
供 一 个 更 加 准确 的 结果 。 因 为 这 里 面包 含 了 更 多 的 数据 ， 而 它 提供 
的 价值 不 仅 能 抵消 掉 错误 数据 造成 的 影响 ， 还 能 提供 更 多 的 额外 
价值 。 


现在 想 想 增加 读数 频率 的 这 个 事情 。 如 果 每 隔 一 分 钟 就 测量 一 下 温度 ， 
我 们 至 少 还 能 够 保证 测量 结果 是 按照 时 间 有 序 排列 的 。 如 采 变 成 每 分 钟 测量 
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十 次 甚至 百 次 的 话 ， 不 仅 读数 可 能 出 错 ， 连 时 间 先 后 都 可 能 搞 混 掉 。 试 想 ， 
如 果 信 息 在 网 络 中 流动 ， 那 么 一 条 记录 很 可 能 在 传输 过 程 中 被 延迟 ， 在 其 到 
达 的 时 候 已 经 没有 意义 了 ， 甚 至 干脆 在 奔涌 的 信息 洪流 中 彻底 迷失 。 虽 然 我 
们 得 到 的 信息 不 再 那么 准确 ,但 收集 到 的 数量 庞大 的 信息 让 我 们 放弃 严格 精 
确 的 选择 变 得 更 为 划算 。 


在 第 一 个 例子 里 ， 我 们 为 了 获得 更 广泛 的 数据 而 牺牲 了 精确 性 ， 也 因此 
看 到 了 很 多 如 大 不 然 无 法 被 关注 到 的 细节 。 在 第 二 个 例子 里 ， 我 们 为 了 高 频 
率 而 放弃 了 精确 性 ， 结 有 果 观 察 到 了 一 些 本 可 能 被 错过 的 变化 。 虽 然 如 果 我 们 
能 够 下 足够 多 的 工夫 ， 这 些 错误 是 可 以 避免 的 ,但 在 很 多 情况 下 ， 与 致力 于 
避免 错误 相 比 ， 对 错误 的 包容 会 市 给 我 们 更 多 好 处 。 


为 了 规模 的 扩大 ， 我 们 接受 适量 错误 的 存在 。 正 如 技术 咨询 顾问 福 瑞 斯 
特 〈《Forrester ) 说 的 , 有 时 得 到 2 加 2 约 等 于 3.9 的 结果 , 也 很 不 错 了 。 当 然 ， 
数据 不 可 能 完全 错误 ， 但 为 了 了 解 大 致 的 发 展 趋势 ， 我 们 愿意 对 精确 性 做 出 
一 些 让 步 。 


“大 数据 ”通常 用 概率 说 话 ， 而 不 是 板 着 “确凿 无 疑 " 
BIG DATA | : 
dbl 的 面孔 。 整 个 社会 要 习惯 这 种 思维 需要 很 长 的 时 间 ， 其 中 
Wil Transform How We Live, | 也 会 出 现 一 些 问题 。 但 现在 ， 有 必要 指出 的 是 ， 当 我 们 斌 
大 数据 洞察 图 扩大 数据 规模 的 时 候 ， 要 学 会 拥抱 混乱 。 


我 们 可 以 在 大 量 数据 对 计算 机 其 他 领域 进步 的 重要 性 上 看 到 类 似 的 变 
化 。 我 们 都 知道 ， 因 为 摩尔 定律 ， 过 去 一 段 时 间 里 计算 机 的 数据 处 理 能 力 得 
到 了 很 大 的 提高 。 摩 尔 定律 认为 ， 每 块 芯片 上 晶体 管 的 数量 每 两 年 就 会 翻 一 
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倍 。 这 使 得 电脑 运行 更 快速 了 ， 和 存储 空间 更 大 了 。 大 家 没有 意识 到 的 是 ， 驱 
动 各 类 系统 的 算法 也 进步 了 一 一 美国 总 统 科技 顾问 委员 会 的 报告 显示 ， 在 很 
多 领域 这 些 算 法 市 来 的 进步 还 要 胜 过 忆 片 的 进步 。 然 而 ， 社 会 从 “大 数据 ” 
中 所 能 得 到 的 ， 并 非 来 自 运行 更 快 的 芯片 或 更 好 的 算法 ， 而 是 更 多 的 数据 。 


由 于 象棋 的 规则 家 喻 户 晓 ， 且 走 子 限 制 良 多 ， 在 过 去 的 几 十 年 
里 ， 象 棋 算 法 的 变化 很 小 。 计 算 机 象棋 程序 总 是 步 步 为 赢 是 由 于 对 
残局 掌握 得 更 好 了 ， 而 之 所 以 能 做 到 这 一 点 也 只 是 因为 往 系 统 里 加 
入 了 更 多 的 数据 。 实 际 上 ， 当 棋盘 上 只 剩 下 六 枚 棋子 或 更 少 的 时 候 ， 
这 个 残局 得 到 了 全 面 地 分 析 ， 并 且 接 下 来 所 有 可 能 的 走 法 (样本 = 
总 体 ) 都 被 制 入 了 一 个 庞大 的 数据 表格 。 这 个 数据 表格 如 果 不 压缩 
的 话 ， 会 有 一 太 字 节 那么 多 。 所 以 ， 计 算 机 在 这 些 重要 的 象棋 残局 
中 表现 得 完美 无 缺 和 不 可 战胜 。 


大 数据 在 多 大 程度 上 优 于 算法 这 个 问题 在 自然 语言 处 理 上 表现 得 很 明显 
(这 是 关于 计算 机 如 何 学 习 和 领悟 我 们 在 日 常生 活 中 使 用 语言 的 学 科 方 向 )。 
在 2000 年 的 时 候 ， WARD FE AUD AAR EK ZK + BEB (Michele Banko ) MRE 
7i W EZR (Eric Bill) 一 再 在 寻求 改进 word 程序 中 语法 检查 的 方法 。 但 是 
他 们 不 能 确定 是 努力 改进 现 有 的 算法 、 研 发 新 的 方法 ， 还 是 添加 更 加 细腻 精 
致 的 特点 更 有 效 。 所 以 ， 在 实施 这 些 措施 之 前 ， 他 们 决定 往 现 有 的 算法 中 添 
加 更 多 的 数据 ， 看 看 会 有 什么 不 同 的 变化 。 很 多 对 计算 机 学 习 算 法 的 研究 都 
建立 在 百 万 字 左 右 的 语料库 基础 上 。 最 后 ， 他 们 决定 往 4 种 常见 的 算法 中 逐 
SE, Foe TAS, BIAS, Ra BIZ. 


结案 有 总 令 人 吃惊 。 他 们 发 现 ， 随 着 数据 的 增多 ，4 种 算法 的 表现 都 大 
幅 提高 了。 
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当 数 据 只 有 500 万 的 时 候 ， 有 一 种 简单 的 算 | 大 数据 的 力量 
法 表现 得 很 差 ， 但 数据 达 10 ZANR, CERT BIG DATA 
表现 最 好 的 ， 准 确 率 从 原来 的 75% 提高 到 了 95% | OR 
以 上 。 与 之 相反 地 ， 在 少量 数据 情况 下 运行 得 最 
好 的 算法 ， 当 加 入 更 多 的 数据 时 ， 也 会 像 其 他 的 
算法 一 样 有 所 提高 ， 但 是 却 变 成 了 在 大 量 数据 条 
件 下 运行 得 最 不 好 的 。 它 的 准确 率 会 从 86% 提高 
到 94%。 


t 
I 
1 
t 
t 
i 
t 
上 
! 


evolution That 
Witt Transform How We Live, 
i Work, and Think 


后 来 ， 班 科 和 布 里 尔 在 他 们 发 表 的 研究 论文 中 写 到 ,“ 如 此 一 来 ， 我 们 得 
重新 衡量 一 下 更 多 的 人 力 物力 是 应 该 消耗 在 算法 发 展 上 还 是 在 语料库 发 展 上 。 


大 数据 的 简单 算法 比 小 数据 的 复杂 算法 更 有 效 


所 以 , 数据 多 比 少 好 , 更 多 数据 比 算法 系统 更 智能 还 要 重要 。 那 么 , 混乱 
呢 ? 在 班 科 和 布 里 尔 开始 研究 数据 几 年 后 ， 微 软 的 最 大 竞争 对 手 ， 谷 歌 ， 也 
开始 更 大 规模 地 对 这 些 问题 进行 探讨 。 谷 歌 用 的 是 上 万 亿 的 语料库 ， 而 不 是 
十 亿 的 。 谷 歌 做 这 类 研究 不 是 因为 语法 检查 ， 而 是 为 了 解决 翻译 这 个 更 琼 手 
的 难题 。 


20 世纪 40 年 代 ， 电 脑 由 真空 管制 成 ， 要 占据 整个 房间 这 么 大 的 空间 。 
而 机 盏 翻译 也 只 是 计算 机 开发 人 员 的 一 个 想法 。 在 冷战 时 期 ， 美 国 擎 握 了 大 
量 关 于 苏联 的 各 种 资料 ， 但 缺少 翻译 这 些 资 料 的 人 手 。 所 以 ,计算 机 翻译 也 
BUT PRATER AY Ae 


最 初 ， 计 算 机 研发 人 员 打 算 将 语法 规则 和 双语 词典 结合 在 一 起 。1954 
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年 ，IBM 以 计算 机 中 的 250 个 词语 和 六 条 语法 规则 为 基础 ， 将 60 个 俄语 
词组 翻译 成 了 英语 ， 结 果 振 奋 人 心 。IBM 701 通过 穿孔 卡片 读 取 了 “Mi 
pyeryedayem mislyi posryedstvom ryechyi” 这 人 句 话 ， 并 且 将 其 译 成 了 “我 们 通 
过 霹 言 来 交流 思想 "。 在 庆祝 这 个 成 就 的 发 布 会 上 ， 一 篇 报道 就 有 提 到 ， 这 
60 句 话 翻译 得 很 流畅 。 这 个 程序 的 指挥 官 利 昂 . 多 斯 特 尔 特 ( Leon Dostert ) 
表示 ， 他 相信 “在 三 五 年 后 ， 机 融 翻 译 将 会 变 得 很 成 熟 ”。 


事实 证 明 ， 计算 机 翻译 最 初 的 成 功 误导 了 人 们 。1966 年 ， 一 群 机 器 翻译 
的 研究 人 员 意 识 到 ， 翻 译 比 他 们 想象 的 更 困难 ， 他 们 不 得 不 承认 他 们 的 失败 。 
机 衙 翻 译 不 能 只 是 让 电脑 熟悉 常用 规则 ， 还 必须 教会 电脑 处 理 特殊 的 语言 : 
况 。 毕 竟 ， 翻 译 不 仅仅 只 是 记忆 和 复述 ， 也 涉及 选 词 ， 而 明确 地 教会 电脑 这 
些 非 常 不 现实 。 法 语 中 的 “bonjour” 就 一 定 是 “早上 好 ” 吗 ? 有 没有 可 能 是 “日 
安 、“ 你 好 ”或 者 “ 喂 ”? 事实 上 都 有 可 能 一 一 这 需要 视 情况 而 定 。 


在 20 世纪 80 年 代 后 期 ，IBM 的 研发 人 员 提 出 了 一 个 新 的 想法 。 与 单纯 
教 给 计算 机 语言 规则 和 词汇 相 比 ， 他 们 试图 让 计算 机 自己 估算 一 个 词 或 一 个 
词组 适合 于 用 来 翻译 另 一 种 语言 中 的 一 个 词 和 词组 的 可 能 性 ， 然 后 再 决定 某 
个 词 和 词组 在 另 一 种 语言 中 的 对 等 词 和 词组 。 


20 世纪 90 年 代 ，IBM 的 这 个 Candide 项 目 花 费 了 大 概 十 年 的 时 间 ， 将 
KAA 300 万 句 之 多 的 加 拿 大 议会 资料 译 成 了 英语 和 法 语 并 出 版 。 由 于 是 官 
方 文件 ， 翻 译 的 标准 就 非常 高 。 用 那个 时 候 的 标准 来 看 ， 数 据 量 非常 之 庞大 。 
统计 机 器 学 习 从 诞生 之 日 起 ， 就 聪明 地 把 翻译 的 挑战 变 成 了 一 个 数学 问题 ， 
而 这 似乎 很 有 效 ! 计算 机 翻译 在 短 时 间 内 就 提高 了 很 多 。 然 而 ， 在 这 次 飞跃 
之 后 ，IBM 公司 尽管 投入 了 很 多 资金 ， 但 取得 的 成 效 不 大 。 最 终 ，IBM 公司 
停止 了 这 个 项 目 。 
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2006 年 ， 谷 歌 公 司 也 开始 涉足 机 器 翻译 。 这 被 : : ogs mm 

当 作 实现 “收集 全 世界 的 数据 资源 ， 并 让 人 人 都 可 1 TE @ 
享受 这 些 资源 ”这 个 目标 的 一 个 步骤 。 谷 歌 翻译 开 OE > : 
始 利用 一 个 更 大 更 繁杂 的 数据 库 ， 也 就 是 全 球 的 互 ， Pa 
联网 ， 而 不 再 只 利用 两 种 语言 之 间 的 文本 翻译 。 8 8 8 8=«& D, 


« 
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谷歌 翻译 系统 为 了 训练 计算 机 ， 会 吸收 它 能 找 
到 的 所 有 翻译 。 它 会 从 各 种 各 样 语 言 的 公司 网 站 上 
去 寻找 联合 国 和 欧洲 委员 会 这 些 国际 组 织 发 布 的 
官方 文件 和 报告 的 译本 。 它 甚至 会 豚 收 速 读 项 目 
中 的 书籍 翻译 。 谷 歌 翻 译 部 的 负责 人 弗 朗 效 . 奥 齐 
(Franz Och) Ela IFN MR, This, “Aa 
的 翻译 系统 不 会 像 Candide 一 样 只 是 仔细 地 翻译 300 
万 句 话 ， 它 会 掌握 用 不 同 语言 翻译 的 质量 参差 不 齐 
的 数 十 亿 页 的 文档 。 不 考虑 翻译 质量 的 话 ， 上 万 亿 
的 语料库 就 相当 于 950 亿 句 英语 。 

尽管 其 输入 源 很 混乱 ， 但 较 其 他 翻译 系统 而 言 ， 
谷歌 的 翻译 质量 相对 而 言 还 是 最 好 的 ， 而 且 可 翻译 
的 内 容 更 多 。 到 2012 年 年 中 ， 谷 歌 数据 库 涵盖 了 
60 多 种 语言 ， 甚 至 能 够 接受 14 种 语言 的 语音 输入 ， 
并 有 很 流利 的 对 等 翻译 。 之 所 以 能 做 到 这 些 ， 是 因 
为 它 将 语言 视 为 能 够 判别 可 能 性 的 数据 ， 而 不 是 语 
言 本 身 。 如 果 要 将 印度 语 译 成 加 泰 罗 尼 亚 语 ， 谷 歌 
就 会 把 英语 作为 中 介 语 言 。 因 为 在 翻译 的 时 候 它 能 
适当 增 减 词汇 ， 所 以 谷歌 的 翻译 比 其 他 系统 的 翻译 
灵活 很 多 。 
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谷歌 的 翻译 之 所 以 更 好 并 不 是 因为 它 拥 有 一 个 更 好 的 算法 机 制 。 和 微软 
的 班 科 和 布 里 尔 一 样 ， 这 是 因为 谷歌 翻译 增加 了 很 多 各 种 各 样 的 数据 。 从 谷 
歌 的 例子 来 看 ， 它 之 所 以 能 比 IBM 的 Candide 系统 多 利用 成 千 上 万 的 数据 ， 
是 因为 它 接受 了 有 错误 的 数据 。2006 年 ， 合 歌 发 布 的 上 万 亿 的 语料库 ， 束 是 
来 日 于 互联 网 的 一 些 废 弃 内 容 。 这 就 是 “训练 集 *"， 可 以 正确 地 推算 出 刁 语 词 
让 搭配 在 一 起 的 可 能 性 。 


20 世纪 60 年代， 拥有 百 万 天 语 单 词 的 语料库 一 一 布 表 语料库 算得 上 这 
个 领域 的 开创 者 ， 而 如 今 谷歌 的 这 个 语料库 则 是 一 个 质 的 突破 ,后 者 使 用 庞 
大 的 数据 库 使 得 目 然 语 言 处 理 这 一 方 同 取得 了 飞跃 式 的 发 展 。 目 然 语 言 处 理 
能 力 是 语音 识别 系统 和 计算 机 翻译 的 基础 。 彼 得 e Er (Peter Norvig), # 
歌 公 司 人 工 智 能 方面 的 专家 ， 和 他 的 同事 在 一 篇 题 为 《数据 的 非 理 性 效果 》 
( The Unreasonable Effectiveness of Data) 的 文章 中 写 道 ,“ 大 数据 基础 上 的 简 
单 算 法 比 小 数据 基础 上 的 复杂 算法 更 加 有 效 。 详 维 格 和 他 同事 就 指出 ， 混 好 
是 关键 。 


“从 某 种 意义 上 ， 谷 歌 的 语料库 是 布朗 语料库 的 一 个 退步 。 因 
为 谷歌 语料库 的 内 容 来 自 于 未 经 过 滤 的 网 页 内 容 ， 所 以 会 包含 一 些 
不 完整 的 句子 、 拼 写 错 误 、 语 法 错误 以 及 其 他 各 种 错误 。 况 且 ， 它 
也 没有 详细 的 人 工 纠 错 后 的 注解 。 但 是 ， 谷 歌 语 料 库 是 布朗 语料库 
的 好 几 百 万 倍 大 ， 这 样 的 优势 完全 压倒 了 缺点 。 


纷 具 的 数据 越 多 越 好 


传统 的 样本 分 析 师 们 很 难 容 怒 错误 数据 的 存在 ， 因 为 他 们 一 生 都 在 研究 
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如 何 防止 和 避免 错误 的 出 现 。 在 收集 样本 的 时 候 ， 统 计 学 家 会 用 一 整套 的 宁 
略 来 减少 错误 发 生 的 概率 。 在 结果 公布 之 前 ， 他 们 也 会 测试 样本 是 否 存在 洲 
在 的 系统 性 偏差 。 这 些 策略 包括 根据 协议 或 通过 受过 专门 训练 的 专家 来 来 集 
样本 。 但 是 ， 即 使 只 是 少量 的 数据 ， 这 些 规 避 错 误 的 策略 实施 起 来 还 是 耗费 
巨大 。 尤 其 是 当 我 们 收集 所 有 数据 的 时 候 ， 这 就 行 不 通 了 。 不 仅 是 因为 耗费 
巨大 ， 还 因为 在 大 规模 的 基础 上 保持 数据 收集 标准 的 一 致 性 不 太 现实 。 就 算 
是 不 让 人 们 进行 沟通 ， 也 不 能 解决 这 个 问题 。 


大 数据 时 代 要 求 我 们 重新 审视 精确 性 的 优 劣 。 如 有 果 将 传统 的 思维 模式 运 
用 于 数字 化 、 网 络 化 的 21 世纪 ， 就 会 错过 重要 的 信息 。 执 迷 于 精确 性 是 信息 
缺乏 时 代 和 模拟 时 代 的 产物 。 在 那个 信息 贫乏 的 时 代 ， 任 意 一 个 数据 点 的 测 
量 情况 都 对 结果 至 关 重 要 。 所 以 ， 我 们 需要 确保 每 个 数据 的 精确 性 ， 才 不 会 
导致 分 析 结 采 的 偏差 。 


如 今 ， 我 们 已 经 生活 在 信息 时 代 。 我 们 掌握 的 数据 库 
越 来 越 全 面 ， 它 不 再 只 包括 我 们 手头 现象 的 一 点 点 可 怜 的 
BIG DATA 


dod hi 数据 ， 而 是 包括 了 与 这 些 现 象 相关 的 大 量 甚至 全 部 数据 。 
Wo ok | 我 们 不 再 需要 那么 担心 某 个 数据 点 对 整套 分 析 的 不 利 影响 。 
大 数据 洞察 我 们 要 做 的 就 是 要 接受 这 些 纷繁 的 数据 并 从 中 受益 ， 而 不 


是 以 高 昂 的 代价 消除 所 有 的 不 确定 性 。 


在 华盛顿 州 布 菜 恩 市 的 英国 石油 公司 (BP ) 切 里 波 因 特 (Cherry 
Point) 炼油 厂 里 ， 无 线 感应 器 遍布 于 整个 工厂 ， 形 成 无 形 的 网 络 ， 
能 够 产生 大 量 实时 数据 。 酷 热 的 恶劣 环境 和 电气 设备 有 时 会 对 感应 
器 读数 有 所 影响 ， 形 成 错误 的 数据 。 但 是 数据 生成 的 数量 之 多 可 以 
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弥补 这 些小 错误 。 随 时 监测 管道 的 承 压 使 得 BP 能 够 了 解 到 ， 有 些 
种 类 的 原油 比 其 他 种 类 更 具有 腐蚀 性 。 以 前 ， 这 都 是 无 法 发 现 也 无 
法 防止 的 。 


有 时 候 ， 当 我 们 掌握 了 大 量 新 型 数据 时 ， 精 确 性 就 不 那么 重要 了 ， 我 们 
同样 可 以 掌握 事情 的 发 展 趋势 。 大 数据 不 仅 让 我 们 不 再 期 待 精确 性 ， 也 让 我 
们 无 法 实现 精确 性 。 然 而 ， 除 了 一 开始 会 与 我 们 的 直觉 相 矛 盾 之 外 ， 接 受 数 
据 的 不 精确 和 不 完美 我 们 反而 能 够 更 好 地 进行 预测 ， 也 能 够 更 好 地 理解 这 
MEF o 


值得 注意 的 是 ， 错 误 性 并 不 是 大 数据 本 身 固 有 的 。 它 只 是 我 们 用 来 测量 、 
记录 和 交流 数据 的 工具 的 一 个 缺陷 。 如 果 说 哪 天 技术 变 得 完美 无 缺 ， 不 精 
确 的 问题 也 就 不 复 存 在 了 。 错 误 并 不 是 大 数据 固有 的 特性 ， 而 是 一 个 焉 需 我 
们 去 处 理 的 现实 问题 ， 并 且 有 可 能 长 期 存在 。 因 为 拥有 更 大 数据 量 所 能 市 来 
的 商业 利益 远 远 超过 增加 一 点 精确 性 ， 所 以 通常 我 们 不 会 再 花 大 力气 去 提升 
数据 的 精确 性 。 这 又 是 一 个 关注 焦点 的 转变 ， 正 如 以 前 ， 统 计 学 家 们 总 是 把 
他 们 的 兴趣 放 在 提高 样本 的 随机 性 而 不 是 数量 上 。 如 今 ， 大 数据 给 我 们 市 来 
的 利益 ， 让 我 们 能 够 接受 不 精确 的 存在 了 。 


麻 省 理工 与 通货 紧缩 预测 软件 

“10 亿 价格 项 目 ”( The Billion Prices Project, : 7 
。 BBP ) 提供 了 一 个 有 趣 的 例子 。 美 国 劳工 统计 局 的 . 
。 人 员 每 个 月 都 要 公布 消费 物价 指数 ( CPI ) , 这 是 用 ; 
。 来 测试 通货 膨胀 率 的 。 这 些 数据 对 投资 考 和 商家 都 
非常 重要 。 在 决定 是 否 增 减 银行 利率 的 时 候 ， 美 联 ; : 
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和 


储 也 会 考虑 消费 指数 。 一 旦 发 生 通 货 膨胀 ， 工 人工 
资 也 会 增加 。 联 邦 政府 在 支付 社会 福利 和 债券 利息 。 
的 款项 时 ， 这 项 指数 也 是 他 们 参考 的 依据 。 

联邦 政府 为 了 得 到 这 些 数据 ， 会 座 用 很 多 人 辣 
TŽ 90 个 城市 的 商店 、 办 公 室 打 电 话 ， 发 传真 甚至 
登门 拜访 。 他 们 反馈 回来 的 各 种 各 样 的 价格 信息 达 
80 000 种 ， 包 括 土豆 的 价格 、 出 租车 的 票 价 等 。 政 
府 采 集 这 些 数据 每 年 大 概 需 要 花费 两 亿 五 干 万 美元 。 
这 些 数据 是 精确 的 也 是 有 序 的， 但 是 这 个 采集 结果 
的 公布 会 有 几 周 的 滞后 。2008 年 的 经 济 危 机 表明 ， 
这 个 滞后 是 致命 的 。 政 策 决策 者 为 了 更 好 地 应 对 变 
化 ， 需 要 及 时 了 解 通货 膨胀 率 ， 但 如 果 以 传统 的 依 
赖 采样 和 追求 精确 的 方式 进行 数据 收集 ， 政 府 就 不 
可 能 及 时 获得 数据 了 。 

BE TAB (MIT) 的 两 位 经 济 学 家 ， 阿 尔 
由 托 . 卡 瓦 略 ( Alberto Cavell) 和 罗 伯 托 .里 哥 本 
( Oberto Rigobon ) 就 对 此 提出 了 一 个 大 数据 方案 ， 
那 就 是 接受 更 混乱 的 数据 。 通 过 一 个 软件 在 互联 网 
上 收集 信息 ， 他 们 每 天 可 以 收集 到 50 万 种 商品 的 价 
格 。 收 集 到 的 数据 很 混乱 ， 也 不 是 所 有 数据 都 能 轻 
易 进 行 比较 。 但 是 把 大 数据 和 好 的 分 析 法 相 结合 ， 
这 个 项 目 在 2008 年 9 月 雷 曼 兄 弟 破产 之 后 马上 就 发 
现 了 通货 紧缩 趋势 ， 然 而 那些 依赖 官方 数据 的 人 直 
到 11 月 份 才 知道 这 个 情况 。Q 


征调 


中， 特定 的 大 数据 企业 可 以 用 类 似 的 思路 提供 实时 的 指数 ， 例 如 著名 的 淘宝 消费 物价 指数 
(TCPI) ， 其 数据 来 日 于 淘宝 网 内 消费 ， 可 以 做 到 完全 实时 更 新 。 一 一 译 者 注 
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MIT 的 这 个 项 目 汇集 了 数 百 万 的 产品 ， 它 们 被 数 百 个 零售 商 卖 到 了 70 
多 个 国家 。 这 个 项 目 产 生 的 一 个 名 为 PriceStats 的 商业 方案 也 经 常 被 一 些 银行 
和 其 他 经 济 决策 人 用 到 。 当 然 ， 收 集 到 的 数据 需要 仔细 的 分 析 ， 而 且 这 些 数 
据 更 善于 表明 价格 的 发 展 趋 势 而 不 是 精确 的 价格 。 但 是 因为 PriceStats 收集 到 
了 更 多 的 价格 信息 而 且 大 多 是 即时 的 ， 所 以 这 对 决策 者 来 说 就 非常 有 益 了 。 


混杂 性 ， 不 是 竭力 避免 ， 耐 是 标准 途径 


确切 地 说 ， 在 许多 技术 和 社会 领域 ,我 们 更 倾向 于 纷 粽 混杂。 我 们 来 看 
看 内 容 分 拓 方 面 的 情况 。 几 个 世纪 以 来 ， 人 们 一 直 用 分 类 法 和 索引 法 来 帮助 
日 己 存 储 和 检索 数据 资源 。 这 样 的 分 级 系统 通常 部 不 完善 一 一 各 位 读者 没有 
扑 记 图 书馆 卡片 目录 给 你 们 市 来 的 痛 音 回忆 吧 ? 在 “小 数据 ”范围 内 ， 这 些 
方法 就 很 有 效 ， 但 一 旦 把 数据 规模 增加 好 几 个 数量 级 ， 这 些 预 设 一 切 都 各 就 
各 位 的 系统 就 会 朋 演 。 


相片 分 享 网 站 Flickr 在 2011 年 拥有 来 自 大 概 1 亿 用 户 的 60 人 
张 上 照片。 根据 预先 设 定好 的 分 类 来 标注 每 张 照 片 就 没有 意义 了 。 难 
道真 会 有 人 为 他 的 照片 取 名 “ 像 布 特 勒 一 样 的 猫 ” 吗 ? 


恰恰 相反 ， 清楚 地 分 类 被 更 混乱 却 更 灵活 的 机 制 所 取代 了 。 这 些 机 制 
才能 适应 改变 着 的 世界 。 当 我 们 上 传 照片 到 Flickr 网 站 的 时 候 ， 我 们 会 给 
照片 贴 加 标签 。 也 就 是 说 ， 我 们 会 使 用 一 组 文本 标签 来 编组 和 搜索 这 些 资 
源 。 人 们 用 自己 的 方式 创造 和 使 用 标签 ， 所 以 它 是 没有 标准 ， 没 有 预先 设 
定 的 排列 和 分 类 ， 也 没有 我 们 必须 遵守 的 类 别 的 。 任 何人 都 可 以 输入 新 的 
标签 ， 标 签 内 容 事 实 上 就 成 为 了 网 络 资源 的 分 类 标准 。 标 签 被 三 沁 地 应 用 
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于 facebook、 人 博客 等 社交 网 络 上 。 因 为 它们 的 存在 ， 互 联网 上 的 资源 变 得 更 
加 容易 找到 ， 特 别 是 像 图 片 、 视 频 和 音乐 这 些 无 法 用 关键 词 搜索 的 非 文本 类 
资源 。2 


当然 ， 有 时 人 们 错 标的 标签 会 导致 资源 编组 的 不 准确 ， 这 会 让 习惯 了 精 
确 性 的 人 们 很 痛苦 。 但 是 ， 我 们 用 来 编组 照片 集 的 混乱 方法 给 我 们 带 来 了 很 
多 好 处 。 比 如 ， 我 们 拥有 了 更 加 丰富 的 标签 内 容 ， 同 时 能 更 深 更 广 地 获得 各 
种 照片 。 我 们 可 以 通过 合并 多 个 搜索 标签 来 过 滤 我 们 需要 寻找 的 照片 ， 这 在 
以 前 是 无 法 完成 的 。 标 签 所 固有 的 不 确定 性 就 相当 于 我 们 接受 世界 的 纷繁 复 
如。 这 是 对 更 加 精确 系统 的 一 种 对 抗 。 这 些 精确 的 系统 试图 让 我 们 接受 一 个 
世界 很 贫乏 而 规整 的 惨 象 一 一 假装 世间 万 物 都 是 整齐 地 排列 的 。 而 事实 上 现 
实 是 纷 粽 复杂 的 ， 天 地 间 存 在 的 事物 也 远 远 多 于 系统 所 设想 的 。 


互联 网 上 最 火 的 网 址 都 表明 ， 它 们 欣赏 不 精确 而 不 会 假装 精确 。 当 一 个 
人 在 网 站 上 见 到 一 个 facebook 的 “喜欢 ”按钮 时 ， 可 以 看 到 有 多 少 其 他 人 也 
在 后 击 。 当 数量 不 多 时 ,会 显示 像 “63” 这 种 精确 的 数字 。 当 数量 很 大 时 ， 
则 只 会 显示 近似 值 ， 比 方 说 “4 000”。 这 并 不 代表 系统 不 知道 正确 的 数据 是 
多 少 ， 只 是 当 数 量规 模 变 大 的 时 候 ， 确 切 的 数量 已 经 不 那么 重要 了 。 另 外 ， 
数据 更 新 得 非常 快 ， 甚 至 在 刚刚 显示 出 来 的 时 候 可 能 就 已 经 过 时 了 。 所 以 ， 
同样 的 原理 适用 于 时 间 的 显示 。 谷 歌 的 Gmail 邮箱 会 确切 标注 在 很 短 时 间 内 


QO 虽然 完全 由 用 户 自由 添加 ， 标 签 的 形成 和 组 织 也 有 自身 的 规律 。 好 的 标签 使 用 习惯 会 帮 
助 用 户 更 好 管理 资源 ， 也 会 让 用 户 的 照片 、 博 客 等 受到 更 多 关注 。 相 反 ， 胡 乱 添加 标签 
也 会 伤害 自己 。 与 此 同时 ， 标 签 可 以 帮助 系统 提供 更 好 地 搜索 和 推荐 服务 。 关 于 标签 系 
统 的 最 新 研究 成 果 汇 总 ， 可 以 参考 张 子 柯 等 人 2011 年 在 Journal of Computer Science and 
Technology 上 发 表 的 “Taug-aware recommender systems: A state-of-the-art survey” — X., 
译 者 注 
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大 数据 时 代 


收 到 的 信件 ， 比 方 说 “11 分 钟 之 前 ”。 但是， 对 于 已 经 收 到 一 段 时 间 的 信件 ， 
则 会 标注 如 “两 个 小 时 之 前 ”这 种 不 太 确切 的 时 间 信息 。 


2000 年 以 来 ， 商 务 智能 和 分 析 软 件 领域 的 技术 供应 商 们 一 直 承 话 给 客户 
一 个 唯一 的 真理 "。 执 行 官 们 用 这 个 词组 并 没有 项 刺 的 意思 ， 现 在 也 依然 有 
技术 供应 商 这 样 说 。 他 们 说 这 个 词组 的 意思 就 是 ， 每 个 使 用 该 公司 信息 技术 
系统 的 人 都 能 利用 同样 的 数据 资源 ， 这 样 市 场 部 和 营销 部 的 人 员 们 就 不 需要 
再 在 会 议 开 始 前 争论 ， 到 底 是 谁 掌 握 了 正确 的 客户 和 销售 数据 了 。 这 个 想法 
就 是 说 ， 如 果 他 们 知道 的 数据 是 一 致 的 ， 那 么 他 们 的 利益 也 会 更 一 致 。 


但 是 ,“ 一 个 唯一 的 真理 ”这 种 想法 已 经 被 彻底 改变 了 。 现 在 不 但 出 现 
了 一 种 新 的 认识 ， 即 “一 个 唯一 的 真理 ”的 存在 是 不 可 能 的 ， 而 且 退 求 这 个 
唯一 的 真理 是 对 注意 力 的 分 散 。 要 想 获 得 大 规模 数据 市 来 的 好 处 ， 混 乱 应 该 
是 一 种 标准 途径 ， 而 不 应 该 是 竭力 避免 的 。 


我 们 甚至 发 现 ， 不 精确 已 经 渗入 了 数据 库 设计 这 个 最 不 能 容忍 错误 的 领 
域 。 传 统 的 数据 库 引擎 要 求 数据 高 度 精确 和 准确 排列 。 数 据 不 是 单纯 地 被 存 
储 ， 它 往往 被 划分 为 包含 “ 域 ”的 记录 ， 每 个 域 都 包含 了 特定 种 类 和 特定 长 
度 的 信息 。 比 方 说 ， 某 个 数值 域 是 7 个 数字 长 ， 一 个 1 000 万 或 者 更 大 的 数 
值 就 无 法 被 记录 。 一 个 人 想 在 某 个 记录 手机 号 码 的 域 中 输入 一 串 汉字 是 “不 
被 允许 ”的 。 想 要 被 允许 也 可 以 ， 需 要 改变 数据 库 结 构 才 可 以 。 现 在 ， 我 们 
依然 在 和 电脑 以 及 智能 手机 上 的 这 些 限 制 进 行 斗 争 ， 比 如 软件 可 能 拒绝 记录 
我 们 输入 的 数据 。 


索引 是 事先 就 设 定好 了 的 ， 这 也 就 限制 了 人 们 的 搜索 。 增 加 一 个 新 的 家 
引 往 往 既 消耗 时 间 ， 又 惹 人 讨论 ， 因 为 需要 改变 底层 的 设计 。 传 统 的 关系 数 
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02. 更 杂 
不 是 精确 性 ， 而 是 混杂 性 


据 库 是 为 数据 稀缺 的 时 代 设 计 的 ， 所 以 能 够 也 需要 仔细 策划 。 在 那个 时 代 ， 
人 们 遇 到 的 问题 无 比 清晰 ， 所 以 数据 库 锌 设计 用 来 有 效 地 回答 这 些 问题 。 


但 是 ， 这 种 数据 存储 和 分 析 的 方法 越 来 越 和 现实 相 冲 突 。 我 们 现在 拥有 
各 种 各 样 、 人 参差 不 齐 的 海量 数据 。 很 少 有 数据 完全 符合 预先 设 定 的 数据 种 类 。 
而 且 ， 我 们 想 要 数据 回答 的 问题 ， 也 只 有 在 我 们 收集 和 处 理 数据 的 过 程 中 才 


会 知道 。 


新 的 数据 库 设计 的 诞生 


这 些 现实 条 件 导 致 了 新 的 数据 库 设计 的 诞生 ， 它 们 打破 了 关于 记录 和 预 
设 场 域 的 成 规 。 预 设 场 域 显 示 的 是 数据 的 整齐 排列 。 最 音 壳 的 数据 库 查 询 霹 
言 是 结构 化 查询 声言 ， 英 文 盎 写 为 “SQL ”一 一 它 的 名 字 就 显示 了 它 的 僵化 。 
但 是 ， 近 年 的 大 转变 就 是 非 关系 型 数据 库 的 出 现 ， 它 不 需要 预先 设 定 记录 结 
构 ， 它 允许 处 理 超 大 量 五 花 八 门 的 数据 。 因 为 包容 了 结构 多 样 性 ， 这 些 数据 
库 设 计 就 要 求 更 多 的 处 理 和 存储 资源 。 但 是 ,一 旦 考虑 到 大 大 降低 的 存储 和 
处 理 成 本 ,这 就 是 一 个 我 们 支付 得 起 的 公平 交易 。 


WEAF e 赫 兰 德 《Pat Helland ) 是 来 目 微 软 的 世界 上 最 权威 的 数据 库 设计 专 
家 之 一 ,在 一 篇 题 为 《如 果 你 有 足够 多 的 数据 ,那么 “足够 好 ” 真 的 足够 好 》( If 
You Have Too Much Data, then ‘Good Enough’ Is Good Enough) 的 文章 中 ， 他 
把 这 称 为 一 个 重大 的 转变 。 分 析 了 被 各 种 各 样 质 量 参差 不 齐 的 数据 所 侵蚀 的 传 
统 数据 库 设计 的 核心 原则 ， 他 得 出 的 结论 是 ,“ 我 们 再 也 不 能 假 淡 我 们 活 在 一 
个 齐整 的 世界 里 ”。 他 认为 ,处 理 海量 数据 会 不 可 避免 地 导致 部 分 信息 的 缺失 。 
虽然 这 本 来 就 是 有 “损耗 性 ”的 , 但 是 能 快速 得 到 想 要 的 结果 弥补 了 这 个 缺陷 。 





b=: “WARMERS TRAN RO, AAT aes 
频率 。” 


传统 数据 库 的 设计 要 求 在 不 同 的 时 间 提 供 一致 的 结果 。 比 方 说 ， 如 采 你 
查询 你 的 账户 结余 ， 它 会 提供 给 你 确切 的 数目 ; 而 你 几 秒 钟 之 后 查询 的 时 候 ， 
系统 应 该 提供 给 你 同样 的 结果 ， 没 有 任何 改变 。 但 是 ， 随 着 数据 数量 的 大 幅 
增加 以 及 系统 用 户 的 增加 ， 这 种 一 致 性 将 越 来 越 难保 持 。 


大 的 数据 库 并 不 是 固定 在 某 个 地 方 的 ， 它 一 般 分 散在 多 个 硬盘 和 多 台电 
脑 上 。 为 了 确保 其 运行 的 稳定 性 和 速度 ， 一 个 记录 可 能 会 分 开 存 储 在 两 三 个 
地 方 。 如 果 一 个 地 方 的 记录 更 新 了 ， 其 他 地 方 的 记录 则 只 有 同步 更 新 才 不 会 
产生 错误 。 然 而 ,传统 的 系统 会 一 直 等 到 所 有 地 方 的 记录 都 更 新 。 当 数据 广 
泛 地 分 布 在 多 台 服 务 器 上 而 且 服 务 器 每 秒 钟 都 会 接受 成 干 上 万 条 搜索 指令 的 
时 候 ， 同 步 更 新 就 比较 不 现实 了 。 因 此 ， 多 样 性 是 一 种 解决 的 方法 。 


(REEL 
& 


Hadoop § VISA 的 13 分 钟 3 
最 能 代表 这 个 转变 的 ， 就 是 Hadoop HRT, 
: Hadoop 是 与 谷歌 的 MapReduce 系统 相对 应 的 开 产 : : 
。 式 分 布 系统 的 基础 架构 。 它 非常 善于 处 理 超大 量 的 ， 
数据 。 通 过 把 大 数据 变 成 小 模块 然后 分 配给 其 他 机 : q 
加 法 行 分析 ， 它 实现 了 对 起 大 量 数据 的 处 理 。 它 对 和 、 
设 硬件 可 能 会 瘫痪 ， 所 以 在 内 部 建立 了 数据 的 副本 ， “| 
它 还 假定 数据 量 之 大 导致 数据 在 处 理 之 前 不 可 能 整 
齐 排列 。 典 型 的 数据 分 析 需 要 经 过 “萃取 、 转 移 和 
下 载 ” 这 样 一 个 操作 流程 ， 但 是 Hadoop 就 不 拘泥 于 
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eae 


。 这 样 的 方式 。 相 反 ， 它 假定 了 数据 量 的 巨大 使 得 数据 
O 完全 无 法 移动 ， 所 以 人 们 必须 在 本 地 进行 数据 分 析 。 
Hadoop 的 输出 结果 没有 关系 型 数据 库 输 出 结果 
那么 精确 ， 它 不 能 用 于 卫星 发 射 、 开 具 银 行 账户 明 
细 这 种 精确 度 要 求 很 高 的 任务 。 但 是 对 于 不 要 求 极 
端 精确 的 任务 ， 它 就 比 其 他 系统 运行 得 快 很 多 ， 比 
如 说 把 顾客 分 群 ， 然 后 分 别 进行 不 同 的 营销 活动 。 
: 信用 卡 公司 VISA 使 用 Hadoop， 能 够 将 处 理 两 
: 年 时 间 内 730 亿 单 交易 的 时 间 ， 从 一 个 月 缩减 至 仅 
，” 仅 13 分 钟 。 这 样 大 规模 处 理 时 间 上 的 缩减 足以 变革 
| BLS. 也许 Hadoop 不 适合 正规 记 账 ， 但 是 当 可 以 
。 允许 少量 错误 的 时 候 它 就 非常 实用 。 


等 各 六 和 和 


ZestFinance， 一 个 由 谷歌 前 任 首 席 信息 官 道格拉斯 .梅里 尔 创立 的 公司 ， 


用 日 己 的 经 验 再 次 验证 了 “宽容 错误 会 给 我 们 带 来 更 多 价值 ”这 一 观点 。 这 
冢 公司 帮助 决策 者 判断 是 否 应 该 向 某 些 拥有 不 良 信用 记录 的 人 提供 小 额 短 期 
贫 球 。 传 统 的 信用 评分 机 制 关注 少量 突出 的 事件 ， 比 如 一 次 还 款 的 延迟 ， 而 
ZestFinance 则 分 析 了 大 量 不 那么 突出 的 事件 。2012 年 ， 让 ZestFinance 引 以 
为 附 的 就 是 ， 它 的 贷款 拖欠 率 比 行业 平均 水 平 要 低 三 分 之 一 左右 。 唯 一 的 得 


胜 之 掉 还 是 拥抱 混杂 。 


梅里 尔 说 :“ 有 趣 的 是 ， 对 我 们 而 言 ， 基 本 没有 任何 一 个 人 的 信息 是 齐 


备 的 ， 事 实 上， 总 有 大 量 的 数据 缺失 。” 由 ZestFinance 创建 的 用 来 记录 客户 
信息 的 矩阵 是 难以 想象 得 稀 芍 ， 里 面 充满 了 数据 的 空洞 ， 但 ZestFinance 在 这 
些 文 离 破碎 的 数据 中 如 鱼 得 水 。 举 个 例子 ， 有 10% 的 客户 属性 信息 显示 “已 
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经 死亡 ” ， 但 是 依然 可 以 从 他 们 号 上 收回 贷款 。 梅 里 尔 一 脸 坏 突 地 说 :“ 显 然 ， 
没有 人 会 企盼 僵尸 复活 并 且 主 动 还 贷 。 但 是 我 们 的 数据 显示 ， 放 贷 给 僵尸 是 
一 项 不 错 的 生意 。 i 


接受 混乱 ， 我 们 就 能 享受 极其 有 用 的 服务 ， 这 些 服 务 如 果 使 用 传统 方法 
和 工具 是 不 可 能 做 到 的 ， 因 为 那些 方法 和 工具 处 理 不 了 这 么 大 规模 的 数据 。 
据 估 计 ， 只 有 5% 的 数字 数据 是 结构 化 的 且 能 适用 于 传统 数据 库 。 如 果 不 接 
受 混乱 ， 剩 下 95% 的 非 结构 化 数据 都 无 法 被 利用 ， 比 如 网 页 和 视频 资源 。 通 
过 接受 不 精确 性 ， 我 们 打开 了 一 个 从 未 踏足 的 世界 的 窗户 。 


社会 将 两 个 折 中 的 想法 不 知 不 党 地 渗 人 了 我 们 的 处 事 方法 中 ， 我 们 甚至 
不 再 把 这 当成 一 种 折 中 ， 而 是 把 它 当 成 了 事物 的 目 然 状 态 。 


第 一 个 折 中 是 ， 我 们 默认 自己 不 能 使 用 更 多 的 数据 ， 所 以 我 们 就 不 会 
去 使 用 更 多 的 数据 。 但 是 ， 数 据 量 的 限制 正在 逐渐 消失 ， 而 且 通 过 无 限 接近 
样本 = 总 体 ” 的 方式 来 处 理 数据 ， 我 们 会 获得 极 大 的 好 处 。 


第 二 个 折 中 出 现在 数据 的 质量 上 。 在 小 数据 时 代 ， 退 求 精确 度 是 合理 的 。 
因为 当时 我 们 收集 的 数据 很 少 ， 所 以 需要 越 精 确 越 好 。 如 今 这 依然 适用 于 一 
些 事情 。 但 是 对 于 其 他 事情 ， 快 速 获得 一 个 大 概 的 轮廓 和 发 展 脉络 ， 就 要 比 
严格 的 精确 性 要 重要 得 多 。 


BIG DATA RUBLA ERRARE ERRE, 
Anevoutontht | 以 及 我 们 怎样 选择 放松 要 求 并 取代 严格 的 精确 性 ， 将 会 对 


Will Transtorm How We Live, 





Work, and Think 我 们 与 世界 的 沟通 产生 深刻 的 影响 。 随 着 大 数据 技术 成 为 
大 数据 洞察 日 常生 活 中 的 一 部 分 ， 我 们 应 该 开始 从 一 个 比 以 前 更 大 更 
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全 面 的 角度 来 理解 事物 ， 也 就 是 说 应 该 将 “样本 = 总体” 
植 入 我 们 的 思维 中 。 


现在 ， 我 们 能 够 容忍 模糊 和 不 确定 出 现在 一 些 过 去 依赖 于 清晰 和 精确 
的 领域 ， 当 然 过 去 可 能 也 只 是 有 清晰 的 假象 和 不 完全 的 精确 。 只 要 我 们 能 够 
得 到 一 个 事物 更 完整 的 概念 ， 我 们 就 能 接受 模糊 和 不 确定 的 存在 。 就 像 印 
象 派 的 画 风 一 样 ， 近 看 画 中 的 每 一 笔 都 感觉 是 混乱 的 ， 但 是 退 后 一 步 你 就 会 
发 现 这 是 一 幅 伟 大 的 作品 ， 因 为 你 退 后 一 步 的 时 候 就 能 看 出 画作 的 整体 思 
路 了 。 


相 比 依赖 于 小 数据 和 精确 性 的 时 代 ， 大 数据 因为 更 强调 数据 的 完整 性 和 
混杂 性 ， 帮 助 我 们 可 以 进一步 接近 事实 的 真相 。“ 部 分 ”和 “确切 ”的 吸引 力 
定 可 以 理解 的 。 但 是 ， 当 我 们 的 视野 局 限 在 我 们 可 以 分 析 和 能 够 确定 的 数据 
上 时 ， 我 们 对 世界 的 整体 理解 就 可 能 产生 偏差 和 错误 。 不 仅 失 去 了 去 尽力 收 
集 一 切 数据 的 动力 ， 也 失去 了 从 各 个 不 同 角度 来 观察 事物 的 权利 。 所 以 ， 局 
卫 于 狭 隆 的 小 数据 中 ， 我 们 可 以 自豪 于 对 精确 性 的 追求 ， 但 是 就 算 我 们 可 以 
分 析 得 到 细 市 中 的 细节 ， 也 依然 会 错过 事物 的 全 貌 。 


大 数据 要 求 我 们 有 所 改变 ， 我们 必须 能 够 接受 混乱 和 
SiG DATA | 不 确定 性。 精确 性 似乎 一 直 是 我 们 生活 的 支撑 ， 就 像 我 们 
A Revolution Tha 常 说 的 “是 钉 ， 锅 是 钢 "。 但 认为 每 个 问题 只 有 一 个 答案 





Wilt Transform How We Live, 

a 的 想法 是 站 不 住 脚 的 ， 不 管 我 们 承 不 承认 。 一 旦 我 们 承认 

大 数据 洞察 了 这 个 事实 甚至 拥护 这 个 事实 的 话 ， 我 们 离 真相 就 又 近 了 
一 步 。 
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A Revolution That 
Witt Transform How We Live, 
g e] 7 taste 


J BEG EY CRE RSPEI A RS eS 
观念 。 这 些 传 统 观 念 更 加 基本 ， 往 往 被 认为 是 社会 建立 的 根基 : 找到 一 切 事 
情 发 生育 后 的 原因 。 然 而 其 实 很 多 时 候 ， 寻 找 数 据 间 的 关联 并 利用 这 种 关联 
驶 足够 了 。 这 是 我 们 下 一 个 章节 将 要 讨论 的 。 


066 


不 定 因果 关系， 而 和 是 相关 关系 


知道 “是 什么 ”就 够 了 ， 没 必要 知道 “为 什么 "。 
在 大 数据 时 代 ， 我 们 不 必 非 得 知道 现象 背后 的 原 
因 ， 而 是 要 让 数据 自己 “发 声 "。 





【 大 数据 先锋 】 

沃尔玛 ， 请 把 蛋 拟 与 飓风 用 品 摆 在 一 起 
FICO,“ 我 们 知道 你 明天 会 做 什么 ” 
美国 折扣 零售 商 塔 吉 特 与 怀孕 预测 
UPS 与 汽车 修理 预测 

大 数据 预测 早产 儿 病 情 
幸福 感 的 非 线 性 关系 

二 手 车 质量 预测 

纽约 大 型 沙井 盖 爆 炸 预测 
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1997 年 ，24 SARS EAE HE (Greg Linden) 在 华盛顿 大 学 就 读 博士 ， 
研究 人 工 智 能 ， 闲 眼 之 余 ， 他 会 在 网 上 卖 书 。 他 的 网 店 运营 才 两 年 就 已 经 生 
意 兴隆 。 他 回忆 说 :“ 我 爱 卖 书 和 知识 ， 帮 助人 们 找到 下 一 个 他 们 可 能 会 感 兴 
趣 的 知识 点 。” 他 注册 的 这 家 网 店 就 是 日 后 大 获 成 功 的 亚马逊 。 后 来 林 登 被 亚 
马 逊 聘 为 软件 工程 师 ， 以 确保 网 站 的 正常 运行 。 


亚马逊 的 技术 含量 不 仅 体现 在 其 工作 人 员 上 。 虽 然 亚 马 逊 的 故事 大 多 数 
人 都 耳熟能详 ， 但 只 有 少数 人 知道 它 的 内 容 最 初 是 由 人 工 杀 上 自 完 成 的 。 当 时 ， 
它 聘请 了 一 个 由 20 多 名 书评 家 和 编辑 组 成 的 团队 ， 他 们 写 书 评 、 推 荐 新 书 ， 
挑选 非常 有 特色 的 新 书 标题 放 在 亚马逊 的 网 页 上 。 这 个 团队 创立 了 “亚马逊 
BEE” SR, MASA aXe eo EMEA, BRP OB 
重要 来 源 。《 华 尔 街 日 报 》 Wie CH PAT AeA el 
评 家 ， 因 为 他 们 使 得 书籍 销量 猛 增 。 
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03. 更 好 
不 是 因果 关系 ， 而 是 相关 关系 


WR WER (Jeff Bezos )， 亚 马 逊 公司 的 创始 人 以 及 总 裁 ， 决 定 尝试 一 
个 极 定 创造 力 的 想法 : 根据 客户 个 人 以 前 的 购物 喜好 ， 为 其 推荐 具体 的 书籍 。 
从 一 开始 ， 亚 马 逊 已 从 每 一 个 客户 身上 捕获 了 大 量 的 数据 。 比 如 说 ， 他 们 购 
来 了 什么 书籍 他 们 只 关注 什么 书 ; 关注 了 多 久 却 没有 购买 ; 他 们 都 买 了 什 
LH 


客户 的 信息 数据 非常 大 ， 所 以 亚马逊 必须 先 用 传统 的 方法 对 其 进行 处 理 ， 
通过 样本 分 析 找 到 客户 之 间 的 相似 性 。 但 这 些 推 荐 信息 是 非常 原始 的 ， 就 如 
同 你 在 波兰 购买 一 本 书 ， 会 被 东欧 其 他 地 区 的 价格 水 平 搞 得 尝 头 转向 ， 或 者 
EKRI m, 会 被 淹没 在 一 堆 差 不 多 的 婴儿 用 品 中 一 样 。 詹 姆 斯 : 马 
库 斯 ( James Marcus ) 回忆 说 :“ 推 荐 信息 往往 为 你 提供 与 你 以 前 购买 物品 有 
微小 差异 的 产品 ， 并 且 循 环 往复 。” 集 姆 斯 马 库 斯 从 1996 年 到 2001 年 都 是 
亚马逊 的 书评 家 ， 在 他 的 回忆 录 《 亚 马 逊 》(4mazozia ) 里 ， 他 说 道 :“ 那 种 
感觉 就 像 你 和 一 群 白 痴 在 得 书店 。” 


格雷 格林 登 很 快 就 找到 了 一 个 解决 方案 。 他 意识 到 ， 推 荐 系统 实际 上 
并 没有 必要 把 顾客 与 其 他 顾客 进行 对 比 ， 这 样 做 其 实在 技术 上 也 比较 烦琐 。 
它 需 要 做 的 是 找到 产品 之 间 本 身 的 关联 性 。1998 年 ， 林 登 和 他 的 同事 申请 了 
着 名 的 “item-to-item” 协 同 过 滤 技 术 的 专利 。 方 法 的 转变 使 技术 发 生 了 翻天 
履 地 的 变化 。 


因为 估算 可 以 提前 进行 ， 所 以 推荐 系统 快 如 闪电 ， 而 且 适 用 于 各 种 各 样 
的 产品 。 因 此 ， 当 亚马逊 跨 界 销售 除 书 以 外 的 其 他 商品 时 ， 也 可 以 对 电影 或 
烤 面 包机 这 些 产品 进行 推荐 。 由 于 系统 中 使 用 了 所 有 的 数据 ， 推 荐 会 更 理想 。 
林 登 回忆 道 :“ 在 组 里 有 句 玩 笑话 ， 说 的 是 如 果 系 统 运作 良好 ， 亚 马 逊 应 该 只 
推荐 你 一 本 书 ， 而 这 本 书 就 是 你 将 要 买 的 下 一 本 书 。” 
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BIG DATA 


A Revoiuiion That 
Wilt Transform How We Live, 
Viork, and Think 


| 


大 数据 时 代 


现在 ， 公 司 必须 决定 什么 应 该 出 现在 网 站 上 。 是 亚马逊 内 部 书评 家 写 的 
评论 ， 类 似 个 人 建议 的 内 容 还 是 由 机 器 生成 的 畅销 书 排行 榜 ? 批评 者 说 了 什 
么 ， 或 者 顾客 说 了 什么 ?从 字面 上 来 讲 ， 这 是 一 场 人 与 鼠标 的 战争。 


林 登 做 了 一 个 关于 评论 家 所 创造 的 销售 业绩 和 计算 机 生成 内 容 所 产生 的 
销售 业绩 的 对 比 测试 ， 绪 果 他 发 现 两 者 之 间 的 业绩 相差 甚 远 。 他 解释 说 ， 通 
过 数据 推荐 产品 增加 了 差不多 100 倍 的 销售 。 计 算 机 可 能 不 会 知道 为 什么 喜 
欢 海 明 威 作品 的 客户 会 购 严 菲 效 杰 拉 德 的 书 。 但 是 这 似乎 并 不 重要 ， 重 要 的 
定 销 量 。 最 后 ， 编 辑 们 看 到 了 销售 额 分 析 ， 亚 马 逊 也 不 得 不 放弃 每 次 的 在 线 
评论 ， 最 终 书评 组 被 解散 了 。 林 登 回忆 说 :“ 书 评 团 队 被 打败 、 被 解散 ， 我 感 
到 非常 难过 。 但 是 ， 数 据 没 有 说 谎 ， 人 工 评论 的 成 本 是 非常 高 的 。 


如 今 ， 据 说 亚马逊 销售 额 的 三 分 之 一 都 是 来 自 于 它 个 性 化 的 推荐 系统 。 
有 了 它 ， 亚 马 逊 不 仅 使 很 多 大 型 书店 和 音乐 唱片 商店 软 业 ， 而 且 当 地 数 百 个 
目 认为 有 目 己 风格 的 书 商 也 难免 受 转 型 之 风 的 影响 。 事 实 上 ， 林 登 的 工作 彻 
底 改变 了 电子 商务 ， 现 在 几乎 每 个 人 都 在 使 用 电子 商务 。 


奈 飞 公司 是 一 个 在 线 电 影 租 赁 公司 ， 它 四 分 之 三 的 新 订单 都 来 
自 推荐 系统 。 在 亚马逊 的 带领 下 ， 成 千 上 万 的 网 站 可 以 推荐 产品 、 
内 容 和 朋友 以 及 很 多 相关 的 信息 ， 但 并 不 知道 为 什么 人 们 会 对 这 些 
信息 感 兴趣 。 


知道 人 们 为 什么 对 这 些 信息 感 兴趣 可 能 是 有 用 的 ， 但 这 个 问题 目前 并 不 
是 很 重要 。 但 是 ， 知 道 “ 是 什么 ”可 以 创造 点 击 率 ， 这 种 洞察 力 足 以 重 塑 很 
多 行业 ， 不 仅仅 只 是 电子 商务 。 所 有 行业 中 的 销售 人 员 早 就 被 告知 ， 他 们 需 
要 了 解 是 什么 让 客户 做 出 了 选择 ， 要 把 握 客 户 做 决定 背后 的 真正 原因 ， 因 此 
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03. 更 好 
不 是 因果 关系 ， 而 是 相关 关系 


专业 技能 和 多 年 的 经 验 受 到 高 度 重视 。 大 数据 却 显示 ， 还 有 为 外 一 个 在 示 些 
方面 更 有 用 的 方法 。 亚 马 逊 的 推荐 系统 梳理 出 了 有 趣 的 相关 关系 ， 但 不 知道 
背后 的 原因 。 知 道 是 什么 就 够 了 ， 没 必要 知 追 为 什么 。 


关联 物 ， 预 测 的 关键 


在 小 数据 世界 中 ， 相 关 关 系 也 是 有 用 的 ,但 在 大 数据 的 背景 下 ， 相 关 关 
系 大 放 异 彩 。 通 过 应 用 相关 关系 我们 可 以 比 以 前 更 容易 、 更 快捷 、 更 消 荡 
地 分 析 事 物 。 


相关 关系 的 核心 是 量化 两 个 数据 值 之 间 的 数理 关系 。 
RIG DATA | 相关 关系 强 是 指 当 一 个 数据 值 增加 时 ， 其 他 数据 值 很 有 可 
A Revolution That 能 也 会 随 之 增加 。 我 们 已 经 看 到 过 这 种 很 强 的 相关 关系 ， 






Will Transform How We Live, 
—— 比如 谷歌 流感 趋势 : 在 一 个 特定 的 地 理 位 置 ， 越 多 的 人 通 
大 数据 洞察 过 谷歌 搜索 特定 的 词 条 ， 该 地 区 就 有 更 多 的 人 患 了 流感。 


相反 ， 相 关 关 系 弱 就 意味 着 当 一 个 数据 值 增加 时 ， 其 
他 数据 值 几乎 不 会 发 生变 化 。 例 如 ， 我们 可 以 寻找 关于 个 
人 的 鞋 码 和 幸福 的 相关 关系 ， 但 会 发 现 它 们 几乎 扯 不 上 什 
么 关系 。 


相关 关系 通过 识别 有 用 的 关联 物 来 帮助 我 们 分 析 一 个 现象 ， 而 不 是 通过 
揭示 其 内 部 的 运作 。 当 然 ， 即 使 是 很 强 的 相关 关系 也 不 一 定 能 解释 每 一 种 情 
况 ， 比 如 两 个 事物 看 上 去 行为 相似 ,但 很 有 可 能 只 是 巧合 。 相 关 关 系 没有 绝 
对 ， 只 有 相似 。 也 就 是 说 ,不 是 亚马逊 推荐 的 每 本 书 都 是 顾客 想 买 的 书 。 但 
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SIG DATA 


是 ， 如 有 果 相 关 关 系 强 ， 一 个 相关 链接 成 功 的 概率 是 很 高 的 。 这 一 点 很 多 人 可 
adages Pte 


通过 给 我 们 找到 一 个 现象 的 良好 的 关联 物 ， 相 关 关 系 可 以 帮助 我 们 捕捉 
现在 和 预测 未 来 。 如 果 A 和 了 B 经 常 一 起 发 生 ， 我 们 只 需要 注意 到 B 发 生 了 ， 
束 可 以 预测 A 也 发 生 了 。 这 有 助 于 我 们 预测 A 可 能 会 发 生 什 么 ， 即 使 我 们 不 
能 直接 测量 或 观察 到 A。 更 重要 的 是 ， 它 还 可 以 帮助 我 们 预测 未 来 可 能 发 生 
什么 。 当 然 ， 相 关头 系 是 无 法 预知 未 来 的 ， 他 们 只 能 预测 可 能 发 生 的 事情 。 
但 是 ， 这 已 经 极其 珍贵 了 。 


和 证 和 和 人 下 
* r 


ASS , AEEA SENA mE 


大 

沃尔玛 是 世界 上 最 大 的 零售 商 ， 拥 有 超过 200 : : TE E : 
万 的 员工 ， 销 售 额 约 4 500 亿美 元 ， 比 大 多 数 国家 ; : : pa 
的 国内 生产 总 值 还 多 。 在 网 络 带 来 巨大 的 数据 库 之 ， 2 i > : 
前 ， 沃 尔 玛 在 美国 企业 中 拥有 的 数据 资源 应 该 是 最 : 8 > : 


多 的 。 
i Waea T 
产品 记录 为 数据 资源 而 彻底 改变 了 零售 行业 。 沃 尔 
玛 可 以 让 供应 商 监 控 销 售 速率 、 数 量 以 及 存货 的 情 
况 。 沃 尔 玛 通过 打造 透明 度 来 迫使 供应 商 照 顾 好 自 
己 的 物流 。 在 许多 情况 下 , 沃尔玛 不 接受 产品 的 “所 
有 权 ， 除 非 产品 已 经 开始 销售 ， 这 样 就 避免 了 存货 
的 风险 也 降低 了 成 本 。 实 际 上 ， 沃 尔 玛 运 用 这 些 数 
据 使 其 成 为 了 世界 上 最 大 的 “寄售 店 "。 
倘 夺 得 到 正确 分 析 ， 历 史 数 据 能 够 解释 什么 呢 ? 


a . 
SUR OTT ERT ARETE TE OEE EERE EEE HTT REELED EOE TEMA ETE EMEA HORE RT ERED POTEET HELE ARH EOE ERE DEON L MALLE HED 
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03. 更 好 
不 是 因果 关系 ， 而 是 相关 关系 


亲生 


/ BEM SKAAIA (Teradata ) “专业 的 数字 统计 员 
| 一 起 研究 发 现 了 有 趣 的 相关 关系 。2004 年 ， 沃 尔 到 
| 对 过 去 的 交易 这 个 庞大 的 数据 库 进行 了 观察 ， 这 个 
。 数据 库 记录 的 不 仅 包括 每 一 个 顾客 的 购物 清单 以 及 
。 消费 额 ， 还 包括 购物 篮 中 的 物品 、 具 体 购 买 时 间 ， 
| 甚至 购买 天 气 。 

: ”沃尔玛 公司 注意 到 ， 每 当 在 季节 性 飓风 来 临 之 
前， 不 仅 手电 简 销 售 量 增加 了 ， 而 且 POP-Tarts 蛋 
。 所 ( 美式 含 糖 早餐 零食 ) 的 销量 也 增加 了 。 因 此 ， 当 
| 季节 性 风暴 来 临时 ， 沃 尔 玛 会 把 库存 的 蛋 热 放 在 千 
。 近 飓 风 用 品 的 位 置 ， 以 方便 行 色 匆 匆 的 顾客 从 而 增加 
”销量 。 


过 去 ， 总 部 的 人 员 们 需要 先 有 了 想法 ,然后 才能 收集 数据 来 测试 这 个 想 
法 的 可 行 性 。 如 今 ， 我们 有 了 如 此 之 多 的 数据 和 更 好 的 工具 ， 所 以 要 找到 相 
关系 变 得 更 快 、 更 容易 了 。( 这 就 意味 着 我 们 必须 关注 : 当 数 据点 以 数量 级 方 
式 增长 的 时 候 ， 我 们 会 观察 到 许多 似是而非 的 相关 关系 。 毕 竞 我 们 还 处 于 考 
察 相关 关系 的 初期 ， 所 以 这 一 点 需要 我 们 高 度 重 视 。) 


在 大 数据 时 代 来 临 前 很 入， 相关 关系 就 已 经 被 证 明 大 有 用 途 。 这 个 观点 
是 1888 年 查尔斯 达尔文 的 表 弟 弗朗西斯 .高 尔 顿 栈 士 (Francis Galton ) 所 
出 的 ， 因 为 他 注意 到 人 的 身高 和 前 臂 的 长 度 有 关系 。 相 关 关 系 背 后 的 数学 计 
算是 直接 而 又 有 活力 的 ， 这 是 相关 关系 的 本 质 特征 ， 也 是 让 相关 关系 成 为 最 
广泛 应 用 的 统计 计量 方法 的 原因 。 但 是 在 大 数据 时 代 之 前 ， 相 关 关 系 的 应 用 
D ”Teradata 的 前 身 是 著名 的 全 美 现金 出 纳 机 公司 。 一 一 作者 注 
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大 数据 时 代 


很 少 。 因 为 数据 很 少 而 且 收 集 数 据 很 费时 费力 ， 所 以 统计 学 家 们 喜欢 找到 一 
个 关联 物 ， 然 后 收集 与 之 相关 的 数据 进行 相关 关系 分 析 来 评测 这 个 关联 物 的 
TA RA, My PRIX TIRE? 


除了 仅仅 依靠 相关 关系 ， 专 家 们 还 会 使 用 一 些 建立 在 理论 基础 上 的 假想 
来 指导 自己 选择 适当 的 关联 物 。 这 些 理论 就 是 一 些 抽象 的 观点 ， 有 关 事 物 是 
怎样 运作 的 。 然 后 收集 与 关联 物 相关 的 数据 来 进行 相关 关系 分 析 ， 以 证 明 这 
个 关联 物 是 否 真 的 合适 。 如 果 不 合适 ， 人 们 通常 会 固执 地 再 次 尝试 ， 因 为 担 
心 可 能 是 数据 收集 的 错误 ， 而 最 终 却 不 得 不 承认 一 开始 的 假想 甚至 假想 建立 
的 基础 都 是 有 缺陷 和 必须 修改 的 。 这 种 对 假想 的 反复 试验 促进 了 学 科 的 发 展 。 
但 是 这 种 发 展 非常 缓慢 ， 因 为 个 人 以 及 团体 的 偏见 会 蒙蔽 我 们 的 双眼 ， 导 至 
我 们 在 设立 假想 、 应 用 假想 和 选择 关联 物 的 过 程 中 犯错 误 。 总 之 ， 这 是 一 个 
烦琐 的 过 程 ， 只 适用 于 小 数据 时 代 。 


在 大 数据 时 代 ， 通 过 建立 在 人 的 偏见 基础 上 的 关联 物 监测 法 已 经 不 再 可 
行 ， 因 为 数据 库 太 大 而 且 需 要 考虑 的 领域 太 复杂 。 幸 运 的 是 ,许多 迫使 我 们 
选择 假想 分 析 法 的 限制 条 件 也 逐渐 消失 了 。 我 们 现在 拥有 如 此 多 的 数据 ， 这 
么 好 的 机 器 计算 能 力 ， 因 而 不 再 需要 人 工 选择 一 个 关联 物 或 者 一 小 部 分 相似 
数据 来 逐一 分 析 了 。 复 杂 的 机 器 分 析 能 为 我 们 辨认 出 谁 是 最 好 的 代理 ， 就 像 
在 谷歌 流感 趋势 中 ， 计 算 机 把 检索 词 条 在 5 亿 个 数学 模型 上 进行 测试 之 后 ， 
准确 地 找 出 了 哪些 是 与 流感 传播 最 相关 的 词 条 。 

我 们 理解 世界 不 再 需要 建立 在 假设 的 基础 上 ， 这 个 假设 是 指针 对 现象 
建立 的 真实 有 效 的 假设 。 因 此 ， 我 们 也 不 需要 建立 这 样 一 个 假设 ， 关 于 哪些 
词 条 可 以 表示 流感 在 何 时 何 地 传播 ; 我 们 不 需要 了 解 航空 公司 怎样 给 机 票 定 
价 ; 我 们 不 需要 知道 沃尔玛 的 顾客 的 亮 饪 喜好 。 取 而 代 之 的 是 ， 我 们 可 以 对 
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03. 更 好 
不 是 因果 关系 ， 而 是 相关 关系 


大 数据 进行 相关 关系 分 析 ， 从 而 知道 哪些 检索 词 条 是 最 能 显示 流感 的 传播 的 ， 
是 否 飞机 票 的 价格 会 飞涨 ， 哪 些 食物 是 用 风 期 间 竺 在 家 里 的 人 最 想 吃 的 。 我 
们 用 数据 驱动 的 关于 大 数据 的 相关 关系 分 析 法 ， 取 代 了 基于 假想 的 易 出 错 的 
方法 。 大 数据 的 相关 关系 分 析 法 更 准确 、 更 快 、 而 且 不 易 受 偏见 的 影响 。 


建立 在 相关 关系 分 析 法 基础 上 的 预测 是 大 数据 的 核心 。 这 种 预测 发 生 
的 频率 非常 高 ， 以 至 于 我 们 经 常 忽略 了 它 的 创新 性 。 当 然 ， 它 的 应 用 会 越 来 
越 多 。 


FICO，“ 我 们 知道 你 明天 会 做 什么 ” | 
> g — : :大 
一 个 人 的 信用 常 被 用 来 预测 他 /她 的 个 人 行为 。: : f 





Prep Prec å 
oh Foti» tte DR 7 
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EIEN ah SES + 
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» 
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a 

PRSTARAEHHT ONT SSSA LAH HOT Ee Teeter heres sawve 


美国 个 人 消费 信用 评估 公司 ， 也 被 称 为 FICO， 在 
20 世纪 50 年代 发 明了 信用 分 。2011 F, FICO 提 
出 了 “遵从 医嘱 评分 ”一 一 它 分 析 一 系列 的 变量 来 : 
决定 这 个 人 是 否 会 按时 吃 药 ， 包 括 一 些 看 起 来 有 点 ; : 
kakae rru Whakau ea ore 
如 果 此 人 已 经 结婚 了 的 话 ， 就 会 分 析 他 们 多 久 换 一 
个 工作 以 及 他 们 是 否 有 私家 车 。 这 个 评分 会 帮助 医 
疗 机 构 节 省 开支 ， 因 为 它们 会 知道 哪些 人 需要 得 到 
它们 的 用 药 提醒 。 有 私家 车 和 使 用 抗生素 并 没有 因 
果 关系 ， 这 只 是 一 种 相关 关系 。 但 是 这 就 足够 激发 

| FICO 的 首席 执行 官 扬 言 ，“ 我 们 知道 你 明天 会 做 什 

| 么 。” 这 是 他 在 2011 年 的 投资 人 大 会 上 说 的 。 


YUN] PUB WOM i 
yeu UOHNOASY y £ 


‘BATT GAA MOH LQISUBD AA : 





FAA— MERAY, a Fl (Experian) 有 一 种 服务 ， 可 以 根据 个 人 的 信 
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大 数据 时 代 


用 卡 交易 记录 预测 个 人 的 收入 情况 。 通 过 分 析 公司 拥有 的 信用 卡 历史 记录 数 
据 库 和 美国 国税 局 的 匿名 税收 数据 ， 益 百 利 能 够 得 出 评分 结果 。 


证 明 一 个 人 的 收入 状况 要 花费 10 美元 左右 ， ， m ma 
但 是 益 BF | 的 了 预测 结 a 价 不 足 ] 美元 Oo ; rr he 9 a 


4 1 ’ roa 
| Witt Transform How We Live, 
| Ae ro jt 
ü Think 





所 以 有 时 候 ， 通 过 代理 取得 数据 信息 比 自 己 去 操作 烦琐 的 程序 要 便宜 得 
多 。 同 时 还 有 男 一 个 征 信 机 构 出 售 “支付 能 力 指数 ”和 “可 支配 支出 指数 ”， 
这 些 指数 是 用 来 预测 一 个 人 的 支付 能 力 的 。 


相关 关系 的 运用 更 加 广泛 了 。 中 英 人 寿 保险 有 限 公 司 ( Aviva) 是 一 家 大 
型 保险 公司 ,他 们 想 利用 信用 报告 和 顾客 市 场 分 析 数 据 来 作为 部 分 申请 人 的 
血液 和 尿 液 分 析 的 关联 物 。 这 些 分 析 结 果 被 用 来 找 出 更 有 可 能 患 高 血压 、 糖 
尿 病 和 抑郁 症 的 人 。 其 中 用 来 分 析 的 数据 包括 好 几 百 种 生活 方式 的 数据 ， 比 
如 爱好 、 和 常 浏览 的 网 站 、 常 看 的 节目 、 收 入 估计 等 。 


Aviva 的 预测 模型 是 由 德勤 咨询 公司 发 明 的 ， 公 司 觉得 这 可 以 用 来 发 现 
健康 隐患 。 其 他 保险 公司 如 英国 保 诚 保 险 有 限 公司 ( Prudentia ) 和 美国 国际 
集团 (AIG) 都 承认 它们 也 在 考虑 类 似 的 方法 。 好 处 就 是 ， 申 请 者 不 再 需要 
提供 血液 和 尿 液 样本 了 ， 因 为 大 家 都 不 太 喜 欢 做 这 个 事情 。 


通过 利用 相关 关系 ， 保 险 公 司 可 以 在 每 人 身 
花费 5 美元。 | Eae 
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03. 更 好 
不 是 因果 关系 ， 而 是 相关 关系 


有 些 人 可 能 会 觉得 这 种 方法 听 起 来 很 铠 怖 ， 这 些 公司 似乎 可 以 利用 任何 
网 络 上 的 信息 。 这 会 让 人 们 下 次 查看 极限 运动 网 站 和 坐 着 观看 幽默 情景 剧 前 
三 思 而 后 行 ， 因 为 不 想 支 付 更 多 的 保险 费用 。 让 人 们 害怕 随意 地 与 信息 交流 
是 不 好 的 。 但 另 一 方面 ， 这 个 系统 有 助 于 更 多 的 人 得 到 保险 ， 这 对 于 社会 和 
保险 公司 都 是 有 好 处 的 。 | 


PRAT RETEERE POST RATE EMER HE ER OEEREE EMP RTT REREEDE HOM TERE LERE HHT ORE E RAEN ERAT EUMERHEHOM TE RTLERM OME RRTERTHE EMH HOTTER hate Hee E 


美国 折扣 零售 商 塔 吉 特 与 怀孕 预测 pm 
大 数据 相关 关系 分 析 的 极致 ， 非 美国 折扣 零售 ， 


PRT EBM HOT THREE ENA Ah TPES EAH HHT PTET RHE 


商 塔 吉 特 (Target) 莫 属 了 。 该 公司 使 用 大 数据 的 : : 
相关 关系 分 析 已 经 有 多 年 。( 纽 约 时 报 》 的 记者 查 尔 
斯 杜 西 格 ( Charles Duhigg ) 就 在 一 份 报 道中 阐述 
”了 塔 吉 特 公司 怎样 在 不 被 清楚 告知 的 情况 下 预测 出 
EE 
。 人 可 以 收集 到 的 所 有 数据 ， 然 后 通过 相关 关系 分 析 
得 出 事情 的 真实 状况 。 
对 于 零售 商 来 说 ， 知 道 一 个 顾客 是 否 怀孕 是 非 
常 重要 的 。 因 为 这 是 一 对 夫妻 改变 消费 观念 的 开始 ， 
也 是 一 对 夫妻 生命 的 分 水 岭 。 他 们 会 开始 光顾 以 前 
不 会 去 的 商店 ， 渐 渐 对 新 的 品牌 建立 忠诚 。 塔 吉 特 
公司 的 市 场 专 员 们 向 分 析 部 求助 ， 看 是 否 有 什么 办 
法 能 够 通过 一 个 人 的 购物 方式 发 现 她 是 否 怀孕 。 
公司 的 分 析 团队 首先 查看 了 签署 婴儿 礼物 登记 
短 的 女性 的 消费 记录 。 塔 吉 特 公司 注意 到 ， 登 记 秒 
。 上 的 妇女 会 在 怀孕 大 概 第 三 个 月 的 时 候 买 很 多 无 香 
。 乳液 。 几 个 月 之 后 ， 她 们 会 买 一 些 营养 品 ， 比 如 镁 、 


i eedag 


HUI, pue OAA 


SATI GAA MOH UNOISUBLT WAA 
eUi UORNICADH Y 
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D, Fo BARAK SAR 20 多 种 关联 物 ， 这 些 
天 联 物 可 以 给 顾客 进行 “怀孕 趋势 ”评分 。 这 些 相 
天 天 系 甚至 使 得 零售 商 能 够 比较 准确 地 预测 预产期 ， 
这 样 就 能 够 在 孕期 的 每 个 阶段 给 客户 寄 送 相应 的 优 
惠 券 ， 这 才 是 塔 吉 特 公司 的 目的 。 
杜 西 格 在 《习惯 的 力量 》( The Power of Habit ) 
一 书 中 讲 到 了 接 下 来 发 生 的 事情 。 一 天 ， 一 个 男人 
冲 进 了 一 家 位 于 明 尼 阿 波 利 斯 市 郊 的 塔 吉 特 商店 ， 
要 求 经 理 出 来 见 他 。 他 气愤 地 说 :“ 我 女儿 还 是 高 
生 ， 你 们 却 给 她 邮寄 婴儿 服 和 婴儿 床 的 优惠 券 ， 你 
们 是 在 喜 励 她 怀孕 吗 ? ”而 当 几 天 后 ， 经 理 打 电话 
同 这 个 男人 致歉 时 ， 这 个 男人 的 语气 变 得 平和 起 来 。 
他 说 :“ 我 跟 我 的 女儿 谈 过 了 ， 她 的 预产期 是 8 月 份 ， 
:是 我 完全 没有 意识 到 这 个 事情 的 发 生 ， 应 该 说 抱歉 
。 的 人 是 我 。 


在 社会 环境 下 寻找 关联 物 只 是 大 数据 分 析 法 采取 的 一 种 方式 。 同 样 有 用 
的 一 种 方法 就 是 ， 通 过 找 出 新 种 类 的 数据 之 间 的 相互 联系 来 解决 日 常 需 要 。 
比方 说 ， 一 种 称 为 预测 分 析 法 的 方法 就 被 广泛 地 应 用 于 商业 领域 ， 它 可 以 预 
测 事件 的 发 生 。 这 可 以 指 一 个 能 发 现 可 能 流行 歌曲 的 算法 系统 ， 音 乐 界 广泛 
采用 这 种 方法 来 确保 它们 看 好 的 歌曲 真 的 会 流行 ;也 可 以 指 那些 用 来 防止 机 
化 失效 和 建筑 倒塌 的 方法 。 现 在 ， 在 机 器 、 发 动机 和 桥梁 等 基础 设施 上 放置 
传 感 右 变 得 越 来 越 平常 了 ， 这 些 传感器 被 用 来 记录 散发 的 热量 、 振 幅 、 承 压 
和 人 发 出 的 声音 有 
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~ 03. 更 好 
不 是 因果 关系 ， 而 是 相关 关系 


一 个 东西 要 出 故障 ， 不 会 是 瞬间 的 ， 而 是 慢 慢 地 出 问题 的 。 通 过 收集 所 
有 的 数据 ， 我 们 可 以 预先 捕捉 到 事物 要 出 故障 的 信号 ， 比 方 说 发 动机 的 喻 喻 
声 、 引 擎 过 热 都 说 明 它们 可 能 要 出 故障 了 。 系 统 把 这 些 异 常情 况 与 正常 情况 
进行 对 比 ， 就 会 知道 什么 地 方 出 了 毛病 。 通 过 尽早 地 发 现 异常 ， 系 统 可 以 所 
醒 我 们 在 故障 之 前 更 换 零件 或 者 修复 问题 。 通 过 找 出 一 个 关联 物 并 监控 它 ， 
我 们 就 能 预测 未 来 。 


UPS 与 汽车 修理 预测 
UPS 国际 快递 公司 从 2000 年 就 开始 使 用 预测 性 ; 
。 分 析 来 监测 自己 全 美 60 000 辆 车 规模 的 车 队 ， 这 样 
。 就 能 及 时 地 进行 防御 性 的 修理 。 如 果 车 在 路 上 抛锚 
损失 会 非常 巨大 ， 因 为 那样 就 需要 再 派 一 辆 车 , 会 
| 造成 延误 和 再 装载 的 负担 ， 并 消耗 大 量 的 人 力 物力 。; 
| Die me 
。 更 换 。 但 这 种 方法 不 太 有 效 ， 因 为 有 的 零件 并 没有 
。 什么 毛病 就 被 换 掉 了 。 通 过 监测 车 辆 的 各 个 部 位 ， 
UPS 如 今 只 需要 更 换 需要 更 换 的 零件 ， 从 而 节省 了 
| 好 几 百 万 美元 。 有 一 次 ， 检 测 系统 甚至 帮助 UPS 发 
现 了 一 个 新 车 的 一 个 零件 有 问题 ， 因 此 免除 了 可 能 
会 造成 的 困扰 。 


s 
着 生生 基调 
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工厂 和 提炼 三 也 安装 了 传 感 希 ， 因 为 一 旦 设备 的 茶 一 个 零件 有 问题 ， 了 就 只 有 
在 更 换 了 零件 之 后 生产 才能 继续 进行 。 收 集 和 分 析 数 据 的 花费 比 出 现 停产 的 


079 


A Revolution That 


PROMOTE Tf 
Will Transform How We Live, 
Wark, and Think 


大 数据 时 代 


损失 小 得 多 。 预 测 性 分 析 并 不 能 解释 故障 可 能 会 发 生 的 原因 ， 只 会 告诉 你 存 
在 什么 问题 , 也 就 说 它 并 不 能 告诉 你 引擎 过 热 是 因为 什么 , 磨损 的 风 肩 皮囊? 
设 拧 么 的 螺 帽 ?9 没有 答案 。 


同样 的 方法 也 可 以 运用 在 人 号 上 。 医 院 使 用 医疗 设备 在 病人 号 上 装 神经 
管 ， 插 线 的 时 候 会 产生 大 量 的 数据 。 心 电 图 每 秒 钟 就 能 产生 1 000 个 读数 。 
但 是 只 有 部 分 的 数据 是 被 保存 使 用 的 ， 大 部 分 都 搁置 了 ， 即 使 这 些 数 据 都 能 
在 一 定 程度 上 表现 出 病人 的 情况 。 当 与 其 他 病人 的 数据 一 起 考虑 的 时 候 ， 它 
们 就 能 显现 出 哪些 治疗 方法 是 有 效 的 。 


当 收 集 、 存 储 和 分 析 数 据 的 成 本 比较 高 的 时 候 ， 应 该 适当 地 丢弃 一 些 数 
据 。 安 大 略 理工 大 学 的 卡 罗 琳 ' 麦 格雷 戈 〈Carolyn McGregor ) 博士 和 一 只 研 
究 队 伍 与 IBM 一 起 和 很 多 医院 合作 ， 用 一 个 软件 来 监测 处 理 即 时 的 病人 信 
恩 ， 然 后 把 它 用 于 早产 儿 的 病情 诊断 。 系 统 会 监控 16 个 不 同 地 方 的 数据 ， 比 
如 心率 、 呼 吸 、 体 温 、 血 压 和 血 氧 含量 ， 这 些 数 据 可 以 达到 每 秒 钟 1 260 数 
据点 集 之 多 。 


在 明显 感染 症状 出 现 的 24 小 时 之 前 ， 系 统 就 能 监测 到 早产 儿 细 微 的 号 
体 变化 发 出 的 感染 信号 。 麦 格雷 区 博士 说 :“ 你 无 法 用 肉眼 看 到 ,但 计算 机 可 
以 看 到 。 这 个 系统 依赖 的 是 相关 关系 ， 而 不 是 因果 关系 。 它 告诉 你 的 是 会 
生 什 么 ， 而 不 是 为 什么 发 生 。 这 正 是 这 个 系统 的 价值 。 提 早 知 道 病 情 ， 医 生 
就 能 够 提早 治疗 ， 也 能 更 早 地 知道 菏 种 疗法 是 否 有 效 ， 这 一 切 都 有 利于 病人 
的 康复 。 所 以 ， 未 来 这 个 系统 估计 会 应 用 到 所 有 病人 喘 上 。 这 个 系统 可 能 不 
会 自己 做 决定 ， 但 是 它 已 经 做 到 了 机 各 能 做 到 的 最 好 ， 那 就 是 帮助 人 类 做 到 
最 好 。 
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03. 更 好 
不 是 因果 关系 ， 而 是 相关 关系 


怀 人 的 是 ， 麦 格雷 戈 博士 的 大 数据 分 析 法 能 发 现 一 些 与 医生 的 传统 看 法 
相 违 育 的 相关 关系 。 比 如 说 它 发 现 ， 稳 定 的 生命 体征 表明 病人 发 生 了 严重 的 
感染 。 这 很 奇怪 ， 因 为 医生 一 般 认 为 恶化 的 疼痛 才 是 全 面 感 染 的 征兆 。 你 可 
以 想象 ， 以 前 医生 都 是 下 班 的 时 候 看 看 婴儿 床 旁边 的 记录 本 ， 觉 得 病情 稳定 
了 ， 也 就 下 班 回 家 了 。 只 有 半夜 护士 的 紧急 电话 才 让 他 们 知道 大 事 不 好 了 ， 
他 们 的 直觉 犯 了 大 错误 。 数 据 表明 ， 早 产儿 的 稳定 不 但 不 是 病情 好 转 的 标志 ， 
有 反而 古 骏 风雨 前 的 宁静 ， 就 像 是 身体 要 它 的 器 官 做 好 抵抗 困难 的 准备 。 但 是 
我 们 也 不 太 确 定 ， 我 们 不 知道 具体 原因 ， 只 是 看 到 了 相互 联系 。 这 需要 海量 
的 数据 并 且 找 出 隐 含 的 相关 关系 才能 发 现 。 但 是 ， 大 数据 挽救 了 很 多 生命 ， 
XEZER. 


“FEA”, WARE AA” 


在 小 数据 时 代 ， 相 关 关 系 分 析 和 因果 分 析 都 不 容易 ， 都 耗费 巨大 ， 都 
要 从 建立 假设 开始 。 然 后 我 们 会 进行 实验 一 一 这 个 假设 要 么 被 证 实 要 么 被 推 
翻 。 但 都 由 于 两 者 都 始 于 假设 ,那么 这 些 分 析 就 都 有 受 偏见 影响 的 可 能 ， 而 
且 极 匈 叶 臻 错误。 与 此 同时 ， 用 来 做 相关 关系 分 析 的 数据 很 难得 到 ， 在 收集 
这 些 数据 时 也 耗资 巨大 。 现 今 ， 可 用 的 数据 如 此 之 多 ， 也 就 不 存在 这 些 难 
题 了 。 


当然 ， 还 有 一 种 不 同 的 情况 也 逐渐 受到 了 人 们 的 重视 。 在 小 数据 时 代 ， 
由 于 计算 机 能 力 的 不 足 ， 大 部 分 相关 关系 分 析 仅 限于 寻求 线性 关系 。 这 个 情 
痪 随 看 数据 的 增加 肯定 会 发 生 改变 。 事 实 上 ， 实 际 情况 远 比 我 们 所 想象 的 要 
复 末 。 经 过 复杂 的 分 析 ， 我 们 能 够 发 现 数据 的 “ 非 线 性 关系 ”。 
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幸福 的 非 线 性 关系 Ep 
多 年 来 ， 经 济 学 家 和 政治 家 一 直 错 误 地 认为 收 ; 


下 尖 衣 请 生 和 和 让 冲 人 和 
» 


UL UOOA Y 


。 入 水 平和 幸福 感 是 成 正比 的 。 我 们 从 数据 图 表 上 可 ; 
O 以 看 到 ， 虽 然 统计 工具 呈现 的 是 一 种 线性 关系 , 但 ; 
事实 上 ， 它 们 之 间 存在 一 种 更 复杂 的 动态 关系 : 对 | 
于 收入 水 平 在 1 万 美元 以 下 的 人 来 说 ,一 旦 收入 增 | 
epee 
元 以 上 的 人 来 说 ， 幸 福 感 并 不 会 随 着 收入 水 平 提高 
而 提升 。 如 果 能 发 现 这 层 关系 ， 我 们 看 到 的 就 应 访 
是 一 条 曲线 ， 而 不 是 统计 工具 分 析出 来 的 直线 。 
这 个 发 现 对 决策 者 来 说 非常 重要 。 如 果 只 看 到 
线性 关系 的 话 ， 那 么 政策 重心 应 完全 放 在 增加 收入 
上 ， 因 为 这 样 才能 增加 全 民 的 幸福 感 。 而 一 旦 察觉 
O 到 这 种 非 线性 关系 ， 策 略 的 重心 就 会 变 成 提高 低 收 
: 入 人 群 的 收入 水 平 ， 因 为 这 样 明显 更 划算 。 : 


SATI SAA MOH WIOJSUBIL HAA 





当 相关 关系 变 得 更 复杂 时 ， 一 切 就 更 混乱 了 。 比 如 ， 各 地 麻疹 疫 菌 接种 
率 的 差别 与 人 们 在 医疗 保健 上 的 花费 似乎 有 关联 。 但 是 这 种 关联 不 是 简单 的 
线性 关系 ， 而 是 一 个 复杂 的 曲线 图 。 和 预期 相同 的 是 ， 随 着 人 们 在 医疗 上 沦 
费 的 增多 ， 麻 疹 疫 苗 接 种 率 的 差别 会 变 小 ; 但 令 人 惊讶 的 是 ， 当 增加 到 一 定 
程度 时 ， 这 种 差别 又 会 变 大 。 发 现 这 种 关系 对 公共 卫生 官员 来 说 非常 重要 ， 
但 是 普通 的 线性 关系 分 析 师 是 无 法 捕捉 到 这 个 重要 信息 的 。 


如 今 ， 专 家 们 正在 研发 能 发 现 并 对 比分 析 非 线性 关系 的 必要 技术 工具 。 
一 系列 飞速 发 展 的 新 技术 和 新 软件 也 从 多 方面 提高 了 相关 关系 分 析 工 具 发 现 
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03. 更 好 
不 是 因果 关系 ， 而 是 相关 关系 


非 因 采 关系 的 能 力 ， 这 就 好 比 立体 派 画 家 同时 从 多 个 角度 来 表现 女性 脸庞 的 
Fe. 
网 络 分 析 行 业 的 出 现 就 是 一 个 最 明显 的 例子 。 多 亏 了 它 ， 让 
描绘 、 测 量 、 计 算 各 节点 之 间 的 关系 变 成 了 可 能 ， 我 们 可 以 从 
facebook 上 认识 更 多 的 朋友 ， 还 可 以 知道 法 庭 上 的 一 些 判决 的 先例 ， 
以 及 谁 给 谁 打 了 电话 。 总 之 ， 这 些 工具 为 回答 非 因 果 关 系 及 经 验 性 
的 问题 提供 了 新 的 途径 。 


在 大 数据 时 代 ， 相 关 关 系 分 析 为 我 们 提供 了 一 系列 新 的 视野 和 有 用 的 预 
测 ， 我 们 看 到 了 很 多 以 前 不 曾 注意 到 的 联系 ， 还 掌握 了 以 前 无 法 理解 的 复杂 
技术 和 社会 动态 。 但 最 重要 的 是 ， 通 过 去 探求 “是 什么 ”而 不 是 “为 什么 ”， 
相关 关系 帮助 我 们 更 好 地 了 解 了 这 个 世界 。 


这 听 起 来 有 点 似乎 违背 常理 。 毕 竟 ， 人 们 都 希望 通过 因果 关系 来 了 解 这 
个 世界 。 我 们 也 相信 ， 只 要 仔细 观察 ， 就 会 发 现 有 因缘 有 果 。 了 解 事情 的 起 
因 难 道 不 是 我 们 最 大 的 愿望 吗 ? 


在 斩 和 学界， 关于 因果 关系 是 否 存在 的 争论 已 经 持续 了 几 个 世纪 。 毕 竟 ， 
如 采 凡 事由 有 因果 的 话 ， 那 么 我 们 就 没有 决定 任何 事 的 自由 了 。 如 果 说 我 们 
做 的 每 一 个 决定 或 者 每 一 个 想法 都 是 其 他 事情 的 结果 ， 而 这 个 结果 又 是 由 其 
他 原因 导致 的 ， 以 此 循环 往复 ， 那 么 就 不 存在 人 的 意志 这 一 说 了 一 一 所 有 的 
生命 轨迹 都 只 是 受 因 果 关 系 的 控制 了 。 因 此 ， 对 于 因果 关系 在 世间 所 扮演 的 
角色 ， 哲 学 家 们 争论 不 休 ， 有 时 他 们 认为 ， 这 是 与 自由 意志 相对 立 的 。 当 然 ， 
关于 理论 的 争辩 并 不 是 我 们 要 研究 的 重点 。 
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A Revoiviion That 
Wilt Transform How We Live, 
Viork, and Think 


大 数据 时 代 


当 我 们 说 人 类 是 通过 因果 关系 了 解 世界 时 ， 我 们 指 的 
BIG DATA | 是 我 们 在 理解 和 解释 世界 各 种 现象 时 使 用 的 两 种 基本 方法 : 





ARevouion Tha O | 一 种 是 通过 快速 、 虚 幻 的 因果 关系 ， 还 有 一 种 就 是 通过 组 
ii Transform How We Live. 

Work, and Think 慢 、 有 条 不 闲 的 因果 关系 。 大 数据 之 间 的 关系 将 会 改变 他 
大 数据 洞察 们 扮演 的 角色 。 


首先 ， 我 们 的 直接 愿望 就 是 了 解 因果 关系 。 即 使 无 因果 联系 人 存在， 我 们 
也 还 是 会 假定 其 存在 。 人 研究 证 明 ， 这 只 是 我 们 的 偏见 和 认 知 方式 ， 与 每 个 人 
的 文化 背景 、 生 长 环境 以 及 教育 水 平 是 无 关 的 。 当 我 们 看 到 两 件 事情 接连 发 
生 的 时 候 ， 我 们 会 习惯 性 地 从 因果 关系 的 角度 来 看 待 它 们 。 看 看 下 面 的 三 名 
话 :“ 莫 雷 德 的 父母 迟到 了 ; 供应 商 快 到 了 ; 弗 雷 德 生气 了 。 


我 们 读 到 这 里 时 ， 可 能 立马 就 会 想到 弗 和 雷 德 生气 并 不 是 因为 供应 商 快 到 
了 ， 而 是 他 父母 返 到 了 的 缘故 。 实 际 上 ， 我 们 也 不 知道 到 底 是 什么 情况 。 即 
便 如 此 ， 我 们 还 是 不 禁 认 为 这 些 假设 的 因 来 关系 是 成 立 的 。 


普林斯顿 大 学 心理 专家 ， 同 时 也 是 2002 年 诺 贝尔 经 济 学 奖 得 主 丹尼尔 
JE (Daniel Kahneman ) 就 是 用 这 个 例子 证 明了 人 有 两 种 思维 模式 。 第 一 
种 是 不 费力 的 快速 思维 ,通过 这 种 思维 方式 几 秒 钟 就 能 得 出 结果 ; 另 一 种 是 
比较 费力 的 慢性 思维 ， 对 于 特定 的 问题 ， 就 是 需要 考虑 到 位 。 


快速 思维 模式 使 人 们 偏 回 用 因 采 联系 来 看 待 周围 的 一 切 ， 即 使 这 种 关系 
并 不 存在 。 这 是 我 们 对 已 有 的 知识 和 信仰 的 执著 。 在 古代 ， 这 种 快速 思维 模 
式 是 很 有 用 的 ， 它 能 帮助 我 们 在 信息 量 缺 乏 却 必须 快速 做 出 决定 的 危险 情况 
下 化 险 为 夷 。 但 是 ， 通常 这 种 因果 关系 都 是 并 不 存在 的 。 
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03. 更 好 
不 是 因果 关系 ， 而 是 相关 关系 


卡 尼 曼 指出 ,平时 生活 中 ， 由 于 惰性 ， 我 们 很 少 慢 条 斯 理 地 思考 问题 。 
所 以 快速 思维 模式 就 占据 了 上 风 。 因 此 ， 我 们 会 经 常 腾 想 出 一 些 因 果 关 系 ， 
最 终 导 致 了 对 世界 的 错误 理解 。 


父母 经 常 告诉 孩子 ， 天 冷 时 不 戴 帽 子 和 手套 就 会 感冒 。 然 而 ， 
事实 上 ,感冒 和 穿戴 之 间 却 没有 直接 的 联系 。 有 时 ,我们 在 菜 个 餐 
馆 用 餐 后 生病 了 的 话 ， 我 们 就 会 自然 而 然 地 觉得 这 是 餐馆 食物 的 问 
题 ， 以 后 也 就 可 能 都 不 再 去 这 家 餐馆 了 。 事 实 上 ， 我 们 肚子 痛 也 许 
是 因为 其 他 的 传染 途径 ， 比 如 和 患者 握 过 手 之 类 的 。 然 而 ,我们 的 
快速 思维 模式 使 我 们 直接 将 其 归于 任何 我 们 能 在 第 一 时 间 想 起 来 的 
因 采 关系 ， 因 此 ， 这 经 常 导致 我 们 做 出 错误 的 决定 。 


忆 第 识 相 反 ， 经 常 凭借 直觉 而 来 的 因果 关系 并 没有 帮助 我 们 加 深 对 这 个 
世界 的 理解 。 很 多 时 候 ， 这 种 认 知 捷径 只 是 给 了 我 们 一 种 自己 已 经 理解 的 错 
觉 ， 但 实际 上 ， 我 们 因此 完全 陷 人 了 理解 误区 之 中 。 就 像 采 样 是 我 们 无 法 处 
理 全 部 数据 时 的 捷径 一 样 ， 这 种 找 因 果 关 系 的 方法 也 是 我 们 大 脑 用 来 避免 辛 
吉 的 思考 的 捷径 。 


在 小 数据 时 代 ， 很 难 证 明 由 直觉 而 来 的 因果 联系 是 错误 的 。 现 在 ， 情 况 
不 一 梓 了 。 将 来 ， 大 数据 之 间 的 相关 关系 ， 将 经 常会 用 来 证 明 直觉 的 因果 联 
系 鲜 错误 的 。 最 终 也 能 表明 ,统计 关系 也 不 存在 多 少 真实 的 因果 关系 。 总 之 ， 
我 们 的 快速 思维 模式 将 会 遭受 各 种 各 样 的 现实 考验 。 


令 人 欣喜 地 是 ， 为 了 更 好 地 了 解 世界 ， 我 们 会 因此 更 加 努力 地 思考 。 但 
征 ， 即 使 是 我 们 用 来 发 现 因果 关系 的 第 二 种 思维 方式 一 慢性 思维 ， 也 将 因 
为 大 数据 之 间 的 相关 关系 迎 来 大 的 改变 。 
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A Revolution That 
Fy ra} ` ` 


Wilt Transform How We Live, 
Viork, and Think 


大 数据 时 代 


日 常生 活 中 ， 我 们 习惯 性 地 用 因果 关系 来 考虑 事情 ， 所 以 会 认为 ， 因 条 
联系 是 浅显 易 寻 的 。 但 事实 却 并 非 如 此 。 与 相关 关系 不 一 样 ， 即 使 用 数学 这 
种 比较 直接 的 方式 ， 因 果 联 系 也 很 难 被 轻易 证 明 。 我 们 也 不 能 用 标准 的 等 式 
将 因果 关系 表达 清楚 。 因 此 ， 即 使 我 们 慢 慢 思考 ， 想 要 发 现 因 条 关系 也 征 很 
困难 的 。 因 为 我 们 已 经 习惯 了 信息 的 匮乏 ， 所 以 我 们 习惯 在 少量 数据 的 基础 
上 推理 思考 ， 即 使 大 部 分 时 候 很 多 的 因素 会 推翻 这 种 因 采 关系 。 


就 拿 狂犬 疫苗 这 个 例子 来 说 ，1885 年 7 月 6 日 ,法国 化 学 家 路 
易 . 巴 斯 德 (Louis Pasteur) 接 诊 了 一 个 9 岁 的 小 孩 约 瑟 夫 ， 梅 斯 特 
(Joseph Meister )， 他 被 带 有 狂犬 病毒 的 狗 咬 了 。 那 时 ， 书 斯 德 刚 刚 
研发 出 狂犬 疫苗 ， 也 实验 验证 过 效果 了 。 梅 斯 特 的 父母 就 恩 求 双 斯 
德 给 他 们 的 儿子 注射 一 针 。 巴 斯 德 做 了 , 梅 斯 特 活 了 下 来 。 发 布 会 上 ， 
巴 斯 德 因为 把 一 个 小 男孩 从 死神 手中 救出 而 大 受 襄 奖 。 


但 真 的 是 因为 他 吗 ? 事实 证 明 ， 一 般 来 说 ， 人 被 狗 咬 后 患 上 狂犬 病 的 概 
率 只 有 七 分 之 一 。 即 使 巴 斯 德 的 疫苗 有 效 ， 这 也 只 适用 于 七 分 之 一 的 案例 中 。 
无 论 如 何 ， 就 算 没有 狂犬 疫苗 ， 这 个 小 男孩 活 下 来 的 概率 还 是 有 85%。 


在 这 个 例子 中 ， 大 家 都 认为 是 注射 疫苗 救 了 梅 斯 特 一 命 。 但 这 里 却 有 两 
个 因果 关系 值得 商 梭 。 第 一 个 是 疫苗 和 狂犬 病毒 之 间 的 因果 关系 ， 第 二 个 就 
是 被 带 有 狂犬 病毒 的 狗 咬 和 患 狂犬 病 之 间 的 因果 关系 。 即 便 是 说 疫 盏 能 够 医 
好 狂犬 病 ， 第 二 个 因果 关系 也 只 适用 于 极 少 数 情 况 。 


不 过 ， 科 学 家 已 经 克服 了 用 实验 来 证 明 因 果 关 系 的 难题 。 实 验 是 通过 征 
和 否 有 诱因 这 两 种 情况 ， 分 别 来 观察 所 产生 的 结果 是 不 是 和 情况 相符 ， 如 打 相 
符 就 说 明确 实 存在 因果 关系 。 这 个 情况 控制 得 越 严格 ， 你 就 会 发 现 因 条 关系 
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03. 更 好 
不 是 因果 关系 ， 而 是 相关 关系 


越 有 可 能 就 是 真实 存在 的 。 


因此 ， 与 相关 关系 一 样 ， 因 果 关 系 被 完全 证 实 的 可 能 性 几乎 是 没有 的 ， 
我 们 只 能 说 ， 某 两 者 之 间 很 有 可 能 存在 因果 关系 。 但 两 者 之 间 又 有 不 同 ， 证 
明 因果 关系 的 实验 要 么 不 切实 际 ， 要 么 违背 社会 伦理 道德 。 比 方 说 ， 我 们 怎 
么 从 5 亿 词 条 中 找 出 和 流感 传播 最 相关 的 呢 ? 我 们 难道 真能 为 了 找 出 被 咬 和 
串 病 之 间 的 因果 关系 而 致 成 百 上 千 的 病人 的 生命 于 不 顾 吗 ?因为 实验 会 要 求 
把 部 分 病人 当成 未 被 咬 的 “控制 组 ”成 员 来 对 待 ， 但 是 就 算 给 这 些 病人 打 了 
疫苗 ， 我 们 又 能 保证 万 无 一 失 吗 ? 而 且 就 算 这 些 实验 可 以 操作 ， 操 作成 本 也 
非常 的 昂贵 。 


不 像 因 末 关 系 , 证明 相 关 关 系 的 实验 耗资 少 ， 费 时 也 少 。 与 之 相 比 ,分 
析 相 关 关 系 ， 我 们 既 有 数学 方法 ， 也 有 统计 学 方法 ， 同 时 ， 数 字 工 具 也 能 帮 
我 们 准确 地 找 出 相关 关系 。 


相关 关系 分 析 本 身 意义 重大 ， 同 时 它 也 为 研究 因果 关系 奠定 了 基础 。 通 
过 找 出 可 能 相关 的 事物 ， 我 们 可 以 在 此 基础 上 进行 进一步 的 因果 关系 分 析 ， 
如 果 存在 因果 关系 的 话 ， 我 们 再 进一步 找 出 原因 。 这 种 便捷 的 机 制 通过 严格 
的 实验 降低 了 因 关 分 析 的 成 本 。 我 们 也 可 以 从 相互 联系 中 找到 一 些 重要 的 变 
量 ， 这 些 变量 可 以 用 到 验证 因果 关系 的 实验 中 去 。 


可 是 ， 我 们 必须 非常 认真 。 相 关 关 系 很 有 用 ， 不 仅仅 是 因为 它 能 为 我 们 
提供 新 的 视角 ， 而 且 提供 的 视角 都 很 清晰 。 而 我 们 一 旦 把 因果 关系 考虑 进来 ， 
这 些 视角 就 有 可 能 被 蒙蔽 掉 。 


例如 ， Kaggle, 一 家 为 所 有 人 提供 数据 挖掘 竞赛 平台 的 公司 ， 
举办 了 关于 二 手 车 的 质量 竞赛 。 二 手 车 经 销 商 将 二 手 车 数据 提供 给 
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BIG DATA 


A Revolution That 
Wilt Transform How We Live 
Work, and Think 


大 数据 时 代 


参加 比赛 的 统计 学 家 ， 统 计 学 家 们 用 这 些 数据 建立 一 个 算法 系统 来 
预测 经 销 商 拍卖 的 哪些 车 有 可 能 出 现 质量 问题 。 相 关 关 系 分 析 表 明 ， 
橙色 的 车 有 质量 问题 的 可 能 性 只 有 其 他 车 的 一 半 。 


当 我 们 读 到 这 里 的 时 候 ， 不 禁 也 会 思考 其 中 的 原因 。 难 道 是 因为 橙色 在 
的 车 主 更 爱 车 ， 所 以 车 被 保护 得 更 好 吗 ? 或 是 这 种 颜色 的 车 子 在 制造 方面 更 
精良 些 吗 ? 还 是 因为 橙色 的 车 更 显眼 、 出 车 祸 的 概率 更 小 ， 所 以 转手 的 时 候 ， 
各 方面 的 性 能 保持 得 更 好 ? 


Ak, 我们 就 陷入 了 各 种 各 样 谜 一 样 的 假设 中 。 硅 要 找 出 相关 关系 ， 我 
们 可 以 用 数学 方法 , 但 如 果 是 因果 关系 的 话 ， 这 却 是 行 不 通 的 。 所 以 ， 我 们 
没 必要 一 定 要 找 出 相关 关系 背后 的 原因 , 当 我 们 知道 了 “是 什么 ”的 时 候 ,“ 为 
什么 ”其 实 没 那 么 重要 了 ， 否 则 就 会 催生 一 些 滑稽 的 想法 。 比 方 说 上 面 提 到 
的 例子 里 ,我们 是 不 是 应 该 建议 车 主 把 车 漆 成 权 色 呢 ” 毕 竞 ， 这 样 就 说 明 车 
子 的 质量 更 过 得 便 啊 1 


考虑 到 这 些 ， 如 果 把 以 确凿 数据 为 基础 的 相关 关系 和 通过 快速 思维 构想 
出 的 因果 关系 相 比 的 话 ， 前 者 就 更 具有 说 服 力 。 但 在 越 来 越 多 的 情况 下 ， 快 
速 清晰 的 相关 关系 分 析 其 至 比 慢 速 的 因果 分 析 更 有 用 和 更 有 效 。 慢 速 的 因 末 
分 析 集 中 体现 为 通过 严格 控制 的 实验 来 验证 的 因果 关系 ， 而 这 必然 是 非常 耗 
时 耗 力 的 。 


近年 来 ， 科 学 家 一 直 在 试图 减少 这 些 实验 的 花费 ， 比 如 说 ， 通 过 巧妙 地 
结合 相似 的 调查 ， 做 成 “类 似 实验 ”。 这 样 一 来 ， 因 果 关 系 的 调查 成 本 就 降低 
了 ,但 还 是 很 难 与 相关 关系 体现 的 优越 性 相 抗衡 。 还 有 ， 正 如 我 们 之 前 提 到 
的 ， 在 专家 进行 因果 关系 的 调查 时 ， 相 关 关 系 分 析 本 来 就 会 起 到 帮助 的 作用 。 
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03. 更 好 
个 定 因 果 天 系 ， 而 是 相关 关系 


SiG DATA 


“pipe 在 大 多 数 情况 下 ， 一 旦 我 们 完成 了 对 大 数据 的 相关 关 
evolution That 
Wil Transform How We Live. 系 分 析 ， 而 又 不 再 满足 于 仅仅 知道 “是 什么 ” 时 | 我 们 就 


Work, and Think 


大 数据 洞察 会 继续 向 更 深层 次 研究 因果 关系 ， 找 出 背后 的 “为 什么 ”。 





因 朱 关系 还 是 有 用 的 ， 但 是 它 将 不 再 被 看 成 是 意义 来 源 的 基础 。 在 大 数 
据 时 代 ， 即 使 很 多 情况 下 ， 我 们 依然 指望 用 因果 关系 来 说 明 我 们 所 发 现 的 相 
互联 系 ， 但 是 ， 我 们 知道 因果 关系 只 是 一 种 特殊 的 相关 关系 。 相 反 ， 大 数据 
推动 了 相关 关系 分 析 。 相 关 关 系 分 析 通 常情 况 下 能 取代 因果 关系 起 作用 ， 即 
使 不 可 取代 的 情况 下 ， 它 也 能 指导 因果 关系 起 作用 。 曼 哈 顿 沙井 盖 ( 即 下 水 
BERO ) 的 爆炸 就 是 一 个 很 好 的 例子 。 


改变 ， 从 操作 方式 开始 


每 年 ， 因 沙井 盖 内 部 失火 ， 纽 约 每 年 有 很 多 沙井 盖 会 发 生 爆 炸 。 重 达 
300 磅 的 沙井 盖 在 麦 然 塌 在 地 上 之 前 可 以 冲 出 几 层 楼 高 。 这 可 不 是 什么 好 事 。 


为 纽约 提供 电力 支持 的 联合 爱迪生 电力 公司 (Con Edison) 每 年 都 会 对 
沙井 兰 进 行 常 规 检 查 和 维修 。 过 去 ， 这 完全 看 运气 ， 如 果 工 作 人 员 检 查 到 的 
正好 是 即将 爆炸 的 就 最 好 了 ， 因 为 沙井 盖 爆 炸 威 力 可 不 小 。2007 年 ， 联 合 爱 
迪生 电力 公司 向 哥伦比亚 大 学 的 统计 学 家 求助 ， 希 望 他 们 通过 对 一 些 历史 数 
据 的 研究 ， 比 如 说 通过 研究 以 前 出 现 过 的 问题 、 基 础 设施 之 间 的 联系 ， 进 而 
预测 出 可 能 会 出 现 问题 并 且 需 要 维修 的 沙井 盖 。 如 此 一 来 ， 它 们 就 只 要 把 自 
己 的 人 力 物力 集中 在 维修 这 些 沙井 盖 上 。 
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这 是 一 个 复杂 的 大 数据 问题 。 光 在 纽约 ， 地 下 电缆 就 有 15 AE, ABE 
人 够 环绕 地 球 三 周 半 了 。 而 曼哈顿 有 大 约 51 000 个 沙井 盖 和 服务 器 ， 其 中 很 多 
设施 都 是 在 爱迪生 那个 时 代 建 成 的 ， 而 且 有 二 十 分 之 一 的 电线 在 1930 年 之 前 
就 铺 好 了 。 尽 管 1880 以 来 的 数据 都 保存 着 ， 却 很 杂乱 ， 因 为 从 没 想 过 要 用 来 
进行 数据 分 析 。 这 些 数据 都 是 由 会 计 人 员 或 进行 整修 的 工作 人 员 记 录 下 来 的 ， 
因为 是 手记 ， 所 以 说 这 些 数 据 杂 乱 一 点 也 不 为 过 。 比 如 说 ,常见 的 “服务 大 ” 
代码 就 有 38 个 之 多 ， 而 计算 机 算法 需要 处 理 的 就 是 这 么 混乱 的 数据 : SB, S, 
S/B, S.B, S?B, S.B., SBX, S/BX, SB/X, S/XB, /SBX, S.BX, S &BX, S?BX, S BX, 
S/B/X, S BOX, SVBX, SERV BX, SERV-BOX, SERV/BOX, SERVICE BOX… 


负责 这 个 项 目的 统计 学 家 辛 西亚 . 鲁 丁 (Cynthia Rudin ) 回忆 道 : 


乍 看 这 些 数据 的 时 候 ， 我 们 从 未 想 过 能 从 这 些 未 经 处 理 的 数据 
中 找 出 想 要 的 信息 。 我 打印 了 一 个 关于 所 有 电缆 的 表格 。 如 果 把 这 
个 表格 卷 起 来 的 话 ， 除 非 你 在 地 上 拖 ， 不 然 你 绝对 提 不 起 它 来 。 而 
我 们 需要 处 理 的 就 是 这 么 多 没有 处 理 过 的 数据 。 只 有 理解 了 这 些 数 
据 ， 才 能 从 中 淘金 ， 并 倾 己 所 有 创建 一 个 好 的 预测 模型 。 


鲁 丁 和 她 的 同事 必须 在 工作 中 使 用 所 有 的 数据 ， 而 不 能 是 样本 ， 因 为 
说 不 定 ， 这 成 千 上 万 个 沙井 盖 中 的 某 一 个 就 是 一 个 定时 炸弹 ， 所 以 只 有 使 用 
“样本 = 总 体 ”的 方法 才 可 以 。 虽 然 找 出 因果 关系 也 是 不 错 的 ， 但 是 这 可 能 
需要 一 个 世纪 之 久 ， 而 且 还 不 一 定 找 得 对 。 要 完成 这 项 任务 ， 比 较 好 的 办 法 
就 是 ， 找 出 他 们 之 间 的 相关 关系 。 相 比 “ 为 什么 ” ， 她 更 关心 “是 什么 。 但 
是 她 也 知道 当面 对 联合 爱迪生 电力 公司 高 层 的 时 候 ， 她 需要 证 明 选 择 方案 的 
正确 性 。 预 测 可 能 是 由 机 器 完成 的 ， 但 是 消费 者 是 人 类 ， 而 人 就 习惯 性 地 想 
通过 找 出 原因 来 理解 事物 。 
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03. 更 好 
不 是 因果 关系 ， 而 是 相关 关系 


鲁 丁 希望 尽快 找到 整理 这 些 数据 的 便捷 方法 。 她 们 将 杂乱 的 数据 整理 
好 给 机 器 处 理 ， 由 此 发 现 了 大 型 沙井 盖 爆 炸 的 106 种 预警 情况 。 在 布朗 克 斯 
(Bronx) 的 电网 测试 中 ， 他 们 对 2008 年 中 期 之 前 的 数据 都 进行 了 分 析 ， 并 利 
用 这 些 数据 预测 了 2009 年 会 出 现 问题 的 沙井 。 预 测 效果 非常 的 好 ， 在 他 们 列 
出 的 前 10% 的 名 单 里 ， 有 44% 的 沙井 盖 都 发 生 了 严重 的 事故 。 


最 终 ， 最 重要 的 因素 还 是 这 些 电 统 的 使 用 年 限 和 有 没有 出 现 过 问题 。 讽 
刺 的 是 ， 这 个 发 现 非常 有 意义 ， 因 为 联合 爱迪生 电力 公司 的 高 层 们 可 以 在 此 
基础 上 迅速 进行 沙井 盖 事 故 可 能 性 排序 了 。 但 是 ， 这 些 因 素 会 不 会 看 起 来 太 
明显 了 ? 


好 吧 ， 既 是 又 不 是 。 因 为 一 方面 ， 就 像 数 学 家 邓肯 … 沃 茨 (Duncan 
Watts) 说 的 ，“ 一 旦 你 知道 了 结果 ， 一 切 都 很 容易 。” 但 是 另 一 方面 ， 我 们 不 
能 忘记 最 开始 的 时 候 我 们 可 是 找 出 了 106 种 预警 情况 。 如 何 权衡 以 及 优先 修 
理 成 千 上 万 中 的 哪 一 个 ， 这 都 不 那么 容易 作出 决定 ， 因 为 各 种 各 样 的 因素 加 
入 到 了 这 个 庞大 的 数据 库 中 ， 而 且 这 些 数据 记录 的 方式 使 得 它 本 来 就 不 适合 
处 理 分 析 。 


这 个 例子 说 明了 数据 正在 以 新 的 方式 帮助 我 们 解决 现实 生活 中 的 难题 。 


SSS SPALTE | 的 所 有 数据 ， 而 不 仅仅 是 使 用 样本 。 我 们 不 能 再 把 精确 性 





wo | 当成 重心 ,我 们 需要 接受 混乱 和 错误 的 存在 。 另 外 ， 我 们 
大 数据 洞察 应 该 侧重 于 分 析 相关 关系 ， 而 不 再 寻求 每 个 预测 背后 的 
原因 。 
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A Reveiution That 
t Trang 1 Live 


Will Transform How We Live 
York 


大 数据 ， 改 变 人 类 探索 世界 的 方法 


在 小 数据 时 代 ， 我 们 会 假想 世界 是 怎么 运作 的 ， 然 后 通过 收集 和 分 析 数 
据 来 验证 这 种 假想 。 在 不 久 的 将 来 ， 我 们 会 在 大 数据 的 指导 下 探索 世界 ， 不 
再 受 限 于 各 种 假想 。 我 们 的 研究 始 于 数据 ， 也 因为 数据 我 们 发 现 了 以 前 不 曾 
发 现 的 联系 。 


假想 通常 来 自 自然 理论 或 社会 科学 ， 它 们 也 是 帮助 我 们 解释 和 预测 周 伺 
世界 的 基础 。 随 着 由 假想 时 代 到 数据 时 代 的 过 渡 ， 我 们 也 很 可 能 认为 我 们 不 
表 和 需要 理论 了 。 


2008 F, (CER) REGEREN : 安德森 就 指出 :“ 数 据 爆 炸 使 得 科学 
的 研究 方法 都 落伍 了 。” 后 来 ， 他 又 在 《 拍 字 市 时 代 》( The Petabyte Age ) 的 
封面 故事 中 讲 到 ， 大 量 的 数据 从 某 种 程度 上 意味 着 “理论 的 终结 "。 安 德 征 
也 表示 ， 用 一 系列 的 因果 关系 来 验证 各 种 猜想 的 传统 研究 范式 已 经 不 实用 了 ， 
如 今 它 已 经 被 无 需 理论 指导 的 纯粹 的 相关 关系 研究 所 取代 。 


为 了 支撑 自己 的 观点 ， 安 德 森 益 述 了 量子 物理 学 已 变 成 一 门 纯 
理论 学 科 的 原因 ， 就 是 因为 实验 复杂 、 耗 费 多 而 且 不 可 行 。 他 潜在 
的 观点 就 是 ， 量 子 物理 学 的 理论 已 经 脱离 实际 。 他 提 到 了 谷歌 的 搜 
索引 党 和 基因 排序 工程 , 指出 :“ 现 在 已 经 是 一 个 有 海量 数据 的 时 代 ， 
应 用 数学 已 经 取代 了 其 他 的 所 有 学 科 工 具 。 而 且 只 要 数据 足够 ， 就 
能 说 明 问 题 。 如 果 你 有 一 拍 字 节 的 数据 ， 只 要 掌握 了 这 些 数据 之 间 
的 相关 关系 ， 一 切 就 都 迎刃而解 了 。 


这 篇 文章 引发 了 激烈 的 争论 ， 虽 然 安 德 森 本 人 很 快 就 意识 到 目 己 的 言辞 
过 于 激烈 了 ,但 是 他 的 观点 确实 值得 深思 。 安 德 森 的 核心 思想 是 ， 直 到 目前 
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03. 更 好 
不 是 因果 关系 ， 而 是 相关 关系 


为 止 ， 我 们 一 下 都 是 把 理论 应 用 到 实践 中 来 分 析 和 理解 世界 ， 而 如 今 处 在 大 
数据 时 代 下 ， 我 们 不 再 需要 理论 了 ， 只 要 关注 数据 就 足够 了 。 这 就 意味 着 所 
有 的 普 过 规则 都 不 重要 了 ， 比 方 说 世界 的 运作 、 人 类 的 行为 、 顾 客 买 什么 、 
东西 什么 时 候 会 坏 等 。 如 今 ， 重 要 的 就 是 数据 分 析 ， 它 可 以 揭示 一 切 问题 。 






DEMS EL “理论 的 终结 ”似乎 暗示 着 ， 尽 管理 论 仍 存在 于 像 物 
A Revolution That 
Wit Transform How We Live. 理 à 化 学 这 样 的 学 科 里 但 大 数据 分 析 不 需要 成 形 的 概念 。 


Work, and Think 


大 数据 洞察 XLS. 


大 数据 是 在 理论 的 基础 上 形成 的 。 比 方 说 ， 大 数据 分 析 就 用 到 了 统计 和 
数学 理论 ， 有 时 候 也 会 用 到 计算 机 科学 理论 。 是 的 ， 这 不 是 关于 像 地 心 引力 
这 样 特定 现象 的 产生 原因 的 理论 ， 但 是 无 论 如 何 这 依然 是 理论 。 而 且 如 我 们 
所 见 ， 建 立 在 这 些 理论 上 的 大 数据 分 析 模式 是 实现 大 数据 预测 能 力 的 重要 因 
K. 事实 上 ， 就 是 因为 不 受 限于 传统 的 思维 模式 和 特定 领域 里 隐 含 的 固有 偏 
见 ， 大 数据 才能 为 我 们 提供 如 此 多 新 的 视野 。 


首先 就 是 关于 我 们 怎么 收集 数据 。 我 们 会 不 会 仅仅 看 数据 收集 的 方便 
程度 来 决定 呢 ? 或 者 看 数据 收集 的 成 本 ?我 们 做 这 些 决定 的 时 候 就 被 理论 
所 影响 着 ， 而 就 如 达 纳 : 博 伊 德 (Danah Boyd) 和 凯特 . 克 劳 福 德 (Kate 
Crawford ) 说 的 ， 我 们 的 选择 一 定 程度 上 决定 了 结果 。 毕 竟 ， 谷 歌 是 用 检索 
词 来 预测 流感 而 不 是 鞋 码 。 同 样 ， 我 们 在 分 析 数 据 的 时 候 ， 也 依赖 于 理论 来 
选择 我 们 使 用 的 工具 。 最 后 ， 我 们 解读 研究 结果 的 时 候 同样 会 使 用 理论 。 大 
数据 时 代 绝 对 不 是 一 个 理论 消亡 的 时 代 ， 相 反 地 ， 理 论 贯穿 于 大 数据 分 析 的 
方方面面 。 
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A Revolution That 
Age 有 r’ 3 Live 


Aii Transform How We Live, 
York This 


大 数据 释放 出 的 极 高 价值 不 但 会 让 它 成 为 一 笔 不 簿 的 交易 ， 而 且 也 是 不 
可 避免 的 。 但 是 在 我 们 到 达 目 的 地 之 前 ， 我 们 有 必要 了 解 我 们 怎样 到 达 。 高 
科技 行业 里 的 很 多 人 认为 是 依靠 新 的 工具 ， 从 高 速 世 片 到 高 效 软件 等 。 当 然 ， 
这 可 以 理解 为 因为 他 们 目 己 是 工具 创造 者 。 这 些 问 题 固 然 重要 ， 但 不 是 我 们 
需要 考虑 的 问题 。 大 数据 趋势 的 深层 原因 ， 就 是 海量 数据 的 存在 以 及 越 来 越 
多 的 事物 是 以 数据 形式 存在 的 ， 这 也 是 我 们 下 一 章 要 谈论 的 内 容 。 
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大 数据 发 展 的 核心 动力 来 源 于 人 类 测量 、 记 录 和 和 
分 析 世 界 的 渴望 。 信 息 技 术 变 革 随 处 可 见 ， 但 是 
如 今 的 信息 技术 变革 的 重点 在 “T”( 技术 ) E, 
而 不 是 在 “1”( 信息 ) 上 。 现 在 ， 我 们 是 时 候 把 
聚 关 灯 打 癌 “I ， 开 始 关 注 信息 本 身 了 。 


【 大 数据 先锋 】 


日 本 先进 工业 技术 研究 所 的 坐姿 研究 与 汽车 防盗 系统 


谷歌 的 数据 图 书馆 
亚马逊 的 “统计 显著 性 ”服务 
UPS 的 多 效 地 理 定位 


Foursquare, iA PRB SAH “check in” 


用 手机 数据 预测 疾病 传播 和 城市 繁荣 


英国 对 冲 基金 公司 ， 用 微 博 数据 预测 股市 投资 时 机 


睡眠 活动 数据 库 与 睡眠 模式 预测 
GPS 感应 器 ， 判 断 环 境 因素 对 哮喘 病 的 影响 
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a DATA 


英里 的 导航 图 ， 大 数据 的 最 早 实践 之 一 


马 修 : 方 丹 :英里 (Matthew Fontaine Maury ) 是 一 位 很 有 前 途 的 美国 海 
EEE, 1839 年 ， 在 他 前 往 双 攀 船 “合奏 号 ”( Consort ) 接受 一 个 新 任务 时 ， 
他 乘坐 的 马车 突然 请 出 了 帮 道 ， 瞬 间 倾 倒 ， 把 他 抛 到 了 空中 。 他 重重 地 摔 到 
了 地 上 ,大 腿 骨 粉碎 性 骨折 ,膝盖 也 脱 白 了 。 当 地 的 医生 帮 他 复位 了 膝盖 关节 ， 
但 大 腿 受 伤 过 重 ， 几 天 后 还 需要 重新 手术 。 和 直到 33 岁 ， 他 的 伤 才 基本 痊愈 ， 
但 是 受伤 的 腿 却 留 下 了 残疾 ， 变 得 有 点 儿 跋 ， 再 也 无 法 在 海上 工作 。 经 过 近 
三 年 的 休养 ， 美 国 海军 把 他 安排 进 了 办 公 室 ， 并 任命 他 为 图 表 和 仪 絮 厂 的 负 
KA. 


谁 也 想不到 ， 这 里 竟 成 了 他 的 福地 。 作 为 一 位 年 轻 的 航海 家 ， 莫 里 曾经 
XY AGATE ZK EF SEAN GE BZ RE oP AN SH TS ATTA] Bk NA el 
时 ,他们 回答 说 ， 走 熟悉 的 路 线 要 比 冒 险 走 一 条 不 熟悉 而 且 可 能 充满 危险 的 
路 线 要 好 得 多 。 他 们 认为 ,海洋 是 一 个 不 可 预知 的 世界 ， 人 随时 都 可 能 被 意 
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04. 数据 化 
一 切 皆 可 “量化 ” 


想不到 的 风浪 困 住 。 


但 是 从 他 的 航行 经 验 来 看 ， 莫 里 知道 这 并 不 完全 正确 。 他 经 历 过 各 种 各 
样 的 暴风 。 一 次 ， 他 听 到 来 自 智利 瓦尔 帕 莱 索 扩 展 港口 的 预 等 ， 杀 眼目 上 蜡 了 
当时 刊 成 圆 形 的 风 就 像 钟表 一 样 ; 但 在 下 午 晚 些 或 日 落 的 时 候 ， 大 风 突 然 第 
束 ， 静 下 来 变 成 一 阵 微风 ,仿佛 有 人 关 了 风 的 开关 一 样 。 在 男 一 次 远航 中 ， 
他 穿 过 墨西哥 蓝 色 海 域 的 暖流 ， 感 觉 就 像 在 大 西洋 黑 睦 软 的 水 墙 之 间 穿 行 ， 
又 好 像 在 密西西比 河 静 止 不 动 的 河面 上 挺进 。 


当 莫 里 还 是 一 个 海军 军官 学 校 的 学 生 时 ， 他 每 次 到 达 一 个 新 的 港口 ， 总 
会 向 老 船 长 学 习 经 验 知识 ， 这 些 经 验 知 识 是 代 代 相传 下 来 的 。 他 从 这 些 老 船 
长 那里 学 到 了 潮汐 、 风 和 洋流 的 知识 ， 这 些 都 是 在 军队 发 的 书籍 和 地 图 中 无 
法 学 到 的 。 相 反 ， 海军 依赖 于 陈旧 的 图 表 ， 有 的 都 使 用 了 上 百年 ， 其 中 的 大 
部 分 还 有 很 重大 的 遗漏 和 离谱 的 错误 。 在 他 新 上 任 为 图 表 和 仪 右 三 负责 人 时 ， 
他 的 目标 就 是 解决 这 些 问 题 。 


他 清点 了 库房 里 的 气压 计 、 指 南 针 、 六 分 仪 和 天 文 钟 。 他 发 现 ， 库 房 里 
存放 着 许多 航海 书籍 、 地 图 和 图 表 ; 还 有 塞 满 了 旧 日 志 的 发 等 木 箱 ， 这 些 痢 
是 以 前 的 海军 上 尉 写 的 航海 日 志 。 刚 开始 的 时 候 ， 他 党 得 这 些 都 是 垃圾 ， 但 
当 他 拍 掉 被 海水 浸泡 过 的 书籍 上 的 灰尘 ， 凝 视 着 里 面 的 内 容 时 ， 更 里 突然 变 
得 非常 激动 。 

这 里 有 他 所 需要 的 信息 ， 例 如 对 特定 日 期 、 特 定 地 点 的 风 、 水 和 天 气 
情况 的 记录 。 大 部 分 信息 都 非常 有 价值 。 英 里 意识 到 ， 如 采 把 它们 整理 到 一 
起 ， 将 有 可 能 呈现 出 一 张 全 新 的 航海 图 。 这 些 日 志 是 无 章 可 循 的 ; 页 面 边 上 
尽 是 奇怪 的 打油诗 和 乱七八糟 的 信 手 涂鸦 ， 与 其 说 它们 是 对 航海 行程 的 记录 ， 
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BIG DATA 


PREM UOTE i ae 
Will Transform How We Live, 
Work, and Think 


还 不 如 说 它们 是 船员 在 航海 途中 无 聊 的 娱乐 而 已 。 尽 管 如 此 ,仍然 可 以 从 中 
提取 出 有 用 的 数据 。 英里 和 他 的 20 台 “ 计 算 机 ”一 一 那些 进行 数据 处 理 的 
A, 一 起 把 这 些 破损 的 航海 日 志 里 记录 的 信息 绘制 成 了 表格 ， 这 是 一 个 非常 
FHA LYE. 


莫 里 整合 了 数据 之 后 ， 把 整个 大 西洋 按 经 纬度 划分 成 了 五 块 ， 并 按 月 份 
祭 出 了 温度 、 风 速 和 风向 ， 因 为 根据 时 间 的 不 同 这 些 数据 也 有 所 不 同 。 整 合 
之 后 ， 这 些 数据 显示 出 了 不 同 模式 ， 也 提供 了 更 有 效 的 航海 路 线 。 


有 经 验 的 海员 有 时 依靠 经 验 能 安全 航海 ， 但 有 时 也 会 陷入 危险 
之 中 。 在 从 纽约 到 里 约 热 内 卢 这 条 繁忙 的 航线 上 ， 水 手 们 往往 倾向 
于 与 自然 斗争 而 不 是 顺应 自然 。 美 国 船 长 一 直 被 劝导 前 往 里 约 热 内 
户 不 能 通过 海峡 ， 因 为 那样 存在 很 大 风险 ， 所 以 船长 会 选择 在 东南 
方向 的 航线 上 航行 ， 再 穿 过 赤道 驶 向 西南 方向 。 而 这 样 一 来 ， 航 行 
的 距离 就 相当 于 穿越 大 西洋 两 次 。 这 是 很 荒 谓 的 ， 其 实 直接 洛 着 海 
峡 向 南航 行 就 可 以 了 。 


为 了 提高 精确 度 ， 莫 里 需要 更 多 的 信息 ， 因 此 他 创建 了 一 个 标准 的 表格 
来 记录 航海 数据 ， 并 且 要 求 美国 所 有 的 海军 舰艇 在 海上 使 用 ， 返 航 后 再 提交 
表格 。 商 船 也 拼命 地 想得到 他 的 图 表 ， 莫 里 就 要 求 以 他 们 的 航海 日 志 作为 回 
报 〈 病毒 型 社交 网 络 " 的 早期 版 本 )。 他 宣称 :“ 每 艘 航行 在 公海 上 的 船舶 从 此 
以 后 都 可 以 被 视 为 一 个 浮动 的 天 文人 台 ， 一 个 科学 的 殿堂 。” 为 了 改进 和 完善 图 
表 ， 他 需要 寻求 更 多 的 数据 〈 正 如 谷歌 利用 网 页 排名 来 获得 更 多 的 数据 )。 莫 
里 让 船长 定期 问 海 里 扔 掷 标 有 日 期 、 位 置 、 风 向 以 及 当时 洋流 情况 的 瓶子 ， 
由 ”一 种 在 线 社交 网 络 ， 其 典型 营销 方式 是 ， 一 旦 你 加 入 了 ， 系 统 会 自动 从 你 注册 或 关联 的 邮 


箱 中 找到 联系 人 ， 并 发 信 邀 请 他 们 加 入 。 很 多 读者 应 该 都 收 到 过 LinkedIn 的 邀请 信 ， 就 是 
一 个 典型 的 例子 。 一 一 译 者 注 


04. 数据 化 
一 切 皆 可 “量化 ” 


然后 再 来 寻找 这 些 瓶 子 。 许 多 船 挂 了 一 面 特殊 的 旗帜 ， 表 明 它 参与 了 这 个 信 
息 交 流 计 划 。 这 些 旗帜 就 是 出 现在 一 些 网 站 上 的 链接 共享 图 标的 前 身 。 


通过 分 析 这 些 数据 ， 砚 里 知道 了 一 些 展 好 的 天 然 航 线 ， 这 些 航 线 上 的 风 
向 和 洋流 都 非常 利于 航行 。 他 所 绘制 的 图 表 硕 助 商人 们 节省 了 一 大 笔 钱 ， 因 
为 航海 路 程 减 少 了 三 分 之 一 左右 。 一 个 船长 感激 地 说 ,“ 我 在 得 到 你 的 图 表 之 
前 都 是 在 盲目 地 航行 ， 你 的 图 表 真 的 指引 了 我 。 有 一 些 硕 固 的 人 拒绝 使 用 这 
个 新 制 的 图 表 ， 而 当 他 们 因为 使 用 旧 方 法 航 . 上 到 半路 出 了 事故 或 者 花费 的 航 
行 时 间 长 很 多 的 时 候 ， 他 们 也 就 帮助 证 明了 更 里 系统 的 实用 性 。 


1855 年 ， 葛 里 的 权威 著作 《关于 海洋 的 物理 地 理学 ( The Physical 
Geography of the Sea) 出 版 ， 当 时 他 已 经 绘制 了 12007 RAS. RBS, 
在 这 些 图 表 的 帮助 下 ， 年 轻 的 海员 们 不 用 再 亲 目 去 探索 和 和 总结 经 验 ， 而 能 够 
通过 这 些 图 表 立 即 得 到 来 目 成 千 上 万 名 经 验 丰 富 的 航海 家 的 指导。 


他 的 工作 为 第 一 根 跨 大 西洋 电报 电 统 的 铺设 器 定 了 基础 。 同 时 ， 在 公海 
上 发 生 了 一 次 灾难 性 的 碰撞 事件 之 后 ， 他 马上 修改 了 他 的 航线 分 析 系 统 ， 这 
个 修改 后 的 系统 一 直 沿 用 至 今 。 他 的 方法 其 至 应 用 到 了 天 文学 领域 ，1846 年 
当 海 王 星 被 发 现 的 时 候 ， 莫 里 有 了 一 个 好 点 子 ， 那 就 是 把 错 把 海王 星 当 成 一 
颗 恒 星 时 的 数据 都 汇集 起 来 ， 这 样 就 可 以 画 出 海王 星 的 运行 轨迹 了 。 


这 个 土生 土 长 的 弗吉尼亚 人 在 美国 历史 上 并 不 受 关注 ， 这 也 许 是 因为 他 
在 美国 内 战 期 间 不 再 为 海军 效力 ， 而 是 播 身 一 变 成 为 了 美国 联邦 政府 在 英国 
的 间 诬 。 但 是 多 年 前 ， 当 他 前 去 到 欧洲 为 他 绘制 的 图 表 寻 求 国际 支持 的 时 候 ， 
SEARS SB, SERA IEA AT ACR T eE 
牌 。 即 使 到 今天 ， 美 国 海军 颁布 的 导航 图 上 仍然 有 他 的 名 字 。 
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数据 ， 从 最 不 可 能 的 地 方 提取 出 来 


庞大 的 数据 库 有 痢 小 数据 库 所 没有 的 价值 ， 莫 里 中 校 是 最 早 发 现 这 一 
所 的 人 之 一 。 大 数据 的 核心 就 是 挖掘 出 庞大 的 数据 库 独 有 的 价值 。 更 重要 的 
是 ， 他 深 知 只 要 相关 信息 能 够 提取 和 绘制 出 来 ， 这 些 脏 乱 的 航海 日 志 就 可 以 
变 成 有 用 的 数据 。 通 过 这 样 的 方式 ， 他 重复 利用 了 别人 眼 里 完全 没有 意义 的 
数据 信息 。 从 这 个 意义 上 讲 ， 英里 就 是 数据 化 的 先驱 。 就 像 奥 伦 : 埃 齐 奥 尼 
对 Farecast 所 做 的 事情 一 样 ， 用 航空 业 过 去 的 价格 信息 催生 了 一 个 大 有 了 赚 头 的 
新 公司 ; 也 像 谷歌 的 工程 师 所 做 的 一 样 ， 通 过 过 去 的 检索 记录 预测 到 了 流感 的 
Ke Ac; 而 莫 里 则 是 发 挥 出 了 单纯 用 于 记录 航行 位 置 的 数据 的 其 他 用 途 。 


虽然 与 今天 的 大 数据 技术 大 体 类 似 ， 但 是 一 想到 他 是 通过 人 工 一 笔 一 画 
完成 的 图 表 绘 制 ， 就 让 人 不 禁 感到 惊叹 。 这 说 明 在 远 在 信息 数字 化 之 前 ， 对 
数据 的 运用 就 已 经 开始 了 。 如 今 我 们 经 常 把 “数字 化 ”和 “数据 化 ”这 两 个 
概念 搞 混 ， 但 是 对 这 两 个 概念 的 区 分 实际 上 非常 重要 。 我 们 来 看 一 个 更 加 现 
代 的 例子 ， 帮 助 我 们 理解 数据 其 实 可 以 从 看 上 去 最 不 可 能 的 东西 中 提取 出 来 。 


共计 H TRH ST RRSPEMHE HTT ROE ERAARW EP ORTIR REESE POTTER TEAM AHO HET EAMSE HDPE HTT ERLE 
* 


SELON PP OT TEMS ERM ROTEL EH HOT ER eTLbAM Ee Ree EA 
m 7 


日 本 先进 工业 技术 研究 所 的 坐姿 研究 与 汽车 防盗 系统 ; 
日 本 先进 工业 技术 研究 所 ( Japan’s Advanced | : 
| Institute of Industrial Technology ) 的 教授 越 水 重臣 : : 
: ( Shigeomi Koshimizu ) 所 做 的 研究 就 是 关于 一 个 人 : : 
。 的 坐姿 。 很 少 有 人 会 认为 一 个 人 的 坐姿 能 表现 什么 | 
MR, BREATH. MONARO, 他 
。 的 身 形 、 姿 势 和 重量 分 布 都 可 以 量化 和 数据 化 。 越 


I 


yeu} UONNNOASY Y 


YUL, PUB WORA 


SA SAA MOH WUOISUBLS RAA 
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04, 数据 化 
一 切 皆 可 “量化 ” 


。 水 重臣 和 他 的 工程 师 团队 通过 在 汽车 座 椅 下 部 安装 : 
: ”总 共 360 个 压力 传感器 以 测量 人 对 椅子 施加 压力 的 : 
方式， 把 人 体 屁股 特征 转化 成 了 数据 ， 并 且 用 从 

: 0~256 这 个 数值 范围 对 其 进行 量化 。 这 样 就 会 产生 

。 独 属于 每 个 乘坐 者 的 精确 数据 资料 。 

在 这 个 实验 中 ， 这 个 系统 能 根据 人 体 对 座位 的 

压力 差异 识别 出 乘坐 者 的 身份 ， 准 确 率 高 达 98%。 

这 个 研究 并 不 蚌 蠢 。 这 项 技术 可 以 作为 汽车 防 
次 系统 安装 在 汽车 上 。 有 了 这 个 系统 之 后 ， 汽 车 就 
能 识别 出 驾驶 者 是 不 是 车 主 ; 如 果 不 是 ， 系 统 就 会 
要 求 司机 输入 密码 ， 如 果 司 机 无 法 准确 输入 密码 ， 
汽车 就 会 自动 熄火 。 把 一 个 人 的 坐姿 转化 成 数据 后 ， 

这 些 数据 就 孕育 出 了 一 些 切实 可 行 的 服务 和 一 个 前 
景 光 明 的 产业 。 比 方 说 ， 通 过 汇集 这 些 数据 ， 我 们 
可 以 利用 事故 发 生 之 前 的 姿势 变化 情况 ， 分 析出 坐 

:” 资 和 行驶 安全 之 间 的 关系 。 这 个 系统 同样 可 以 在 司 

”机 疲劳 驾驶 的 时 候 发 出 警示 或 者 自动 刹车 。 同 时 ， 

: ”这 个 系统 不 但 可 以 发 现 车 辆 被 资 ， 而 且 可 以 通过 收 
集 到 的 数据 识别 出 盗贼 的 身份 。 


越 水 重臣 教授 把 一 个 从 不 被 认为 是 数据 、 其 至 不 锌 认为 和 数据 沾边 的 事 
物 转化 成 了 可 以 用 数值 来 量化 的 数据 模式 。 同 样 ， 英里 中 校 从 看 上 去 没什么 
用 处 的 事物 中 提取 出 了 信息 ， 转 化 成 了 极其 有 用 的 数据 。 这 样 创新 性 的 应 用 
创造 出 了 这 些 信息 独特 的 价值 。 
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BIG DATA 


A Revolution That 
Will Transform How We Live, 
Vvéork, and Think 


大 数据 时 代 


数据 化 ， 不 是 数字 化 


“数据 ”( data ) 这 个 词 在 拉丁 文 里 是 “已 知 ” 的 意思 , 也 可 以 理解 为 “ 事 
实 "。 这 是 欧 几 里 得 的 一 部 经 典 著作 的 标题 ， 这 本 书 用 已 知 的 或 者 可 由 已 知 推 
寻 的 知识 来 解释 几何 学 。 如 今 ,数据 代表 着 对 某 件 事 物 的 描述 ,数据 可 以 记录 、 
分 析 和 重组 它 。 我 们 还 没有 合适 的 词 用 来 形容 莫 里 和 越 水 重臣 教授 所 做 的 这 
些 巷 变 ， 所 以 我 们 姑且 称 其 为 “数据 化 ” 吧 一 一 这 是 指 一 种 把 现象 转变 为 可 
制 表 分 析 的 量化 形式 的 过 程 。 


数据 化 和 数字 化 大 相 径 庭 。 数 字 化 指 的 是 把 模拟 数据 转换 成 0 和 1 表示 
的 二 进 制 码 ， 这 样 电脑 就 可 以 处 理 这 些 数据 了 。 数 字 化 并 不 是 计算 机 改革 的 
开始 ， 最 初 的 计算 机 革命 是 计算 能 力 的 飞跃 。 我 们 通过 计算 机 计算 过 去 需要 
耗费 很 长 时 间 的 项 目 ， 比 方 说 导弹 弹道 表 、 人 口 普查 结果 和 天 气 预报 。 直 到 
后 来 才 出 现 了 模拟 数据 和 数字 化 。 所 以 1995 年 ， 当 美国 麻 省 理工 学 院 媒体 
实验 室 的 尼古拉斯 . 尼 和 葛 洛 庞 帝 (Nicholas Negroponte ) 发 表 他 的 标志 性 著作 
《数字 化 生存 》( Being Digital) 的 时 候 ， 他 的 主题 就 是 “从 原子 到 比特 ”。20 
世纪 90 ER, 我们 主要 对 文本 上 进行 数字 化 。 随 着 过 去 的 几 十 年 里 存储 能 
力 、 处 理 能 力 和 带宽 的 提高 ， 我 们 也 能 对 图 像 、 视 频 和 音乐 等 类 似 的 内 容 执 
行 这 种 转化 了 。 


GR, 技术 专家 都 默认 大 数据 的 发 展 和 计算 机 的 变革 
- | = _ : “a Le, a jen Æ 同 步 的 (e 但 事 Sc 并 不 是 这 样 的 O = 无 疑 问 y 是 现 代 信 息 
A Revolution That 系统 让 大 数据 成 为 了 可 能 ， 但 是 大 数据 发 展 的 核心 动力 来 


Wil Transform How We Live, 





Work, and Think 源 于 人 类 测量 、 记 录 和 分 析 世 界 的 渴望 。 信 息 技术 变革 随 
大 数据 洞察 处 可 见 , 但 是 如 今 信息 技术 变革 的 重点 在 “T”( 技术 ) 上 ， 


104 


04. 数据 化 
一 切 皆 可 “量化 ” 


而 不 是 在 “I”( 信息 ) 上 。 现 在 ,我 们 是 时 候 把 聚光灯 打 
向 “IT"， 开 始 关注 信息 本 身 了 。 


为 了 得 到 可 量化 的 信息 ， 我 们 要 知道 如 何 计量 ; 为 了 数据 化 量化 了 的 信 
息 ， 我 们 要 知道 怎么 记录 计量 的 结果 。 这 需要 我 们 拥有 正确 的 工具 。 计 量 和 
记录 的 需求 也 是 数据 化 的 前 提 ， 而 我 们 在 数字 化 时 代 来 临 的 几 个 世纪 前 就 已 
经 更 定好 了 数据 化 的 基础 。 


量化 一 功 ， 数 据 化 的 核心 


记录 信息 的 能 力 是 原始 社会 和 先进 社会 的 分 界线 之 一 。 早 期 文明 最 古老 
的 抽象 工具 就 是 基础 的 计算 以 及 长 度 和 重量 的 计量 。 公 元 前 三 千年 ， 信 息 记 
录 在 印度 河流 域 、 埃 及 和 美 索 不 达 米 亚 平 原 地 区 就 有 了 很 大 的 发 展 ， 而 日 党 
的 计量 方法 也 大 有 改善 。 美 索 不 达 米 亚 平 原 上 书写 的 发 展 促使 了 一 种 记录 生 
产 和 交易 的 精确 方法 的 产生 ， 这 让 早期 文明 能 够 计量 并 记载 事实 情况 ， 并 且 
为 日 后 所 用 。 计 量 和 记录 一 起 促成 了 数据 的 诞生 ， 它 们 是 数据 化 最 早 的 根基 。 


计量 和 记录 能 够 再 现 人 类 活动 。 比 如 通过 记录 建筑 物 的 建筑 方 
式 和 原材料 ， 我 们 就 能 再 建 同 样 的 建筑 ， 或 进行 实验 性 的 操作 ， 比 
如 通过 改变 一 些 方式 保存 其 他 部 分 而 建造 出 新 的 建筑 物 ， 然 后 再 记 
录 这 些 新 建筑 物 。 交 易 情 况 一 旦 得 到 记录 ， 我 们 就 可 以 知道 一 块 地 
或 者 丰收 时 稻谷 的 产量 是 多 少 、 需 要 上 缴 多 少 政 府 税收 。 计 量 和 记 
录 为 预测 和 计划 竟 定 了 基础 ， 虽 然 这 建立 在 假定 明年 的 收成 和 今年 
一 样 的 基础 上 。 有 了 记录 ， 交 易 双方 才 会 知道 他 们 肉 账 的 情况 ， 而 
如 果 没 有 这 些 赁 证 的 支持 ， 欠 债 的 一 方 则 完全 可 以 不 用 还 钱 。 
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几 百 年 来 ， 计 量 从 长 度 和 重量 不 断 扩展 到 了 面积 、 体 积 和 时 间 。 公 元 前 
的 最 后 一 个 千年 ， 西 方 的 计量 方法 已 经 基本 准备 就 绪 ， 但 是 还 是 有 着 比较 严 
重 的 缺陷 。 早 期 文明 的 计量 方法 不 太 适 合计 算 ， 哪 怕 是 比较 简单 的 计算 。 比 
如 罗马 数字 的 计算 系统 就 不 适合 数字 计算 ， 因 为 它 没有 一 个 以 10 为 底 的 平 
行 记 数 制 或 者 说 是 十 进 制 ， 所 以 大 数目 的 乘除 就 算是 专家 都 不 知道 该 怎么 算 ， 
而 简单 的 乘除 对 一 般 人 来 说 也 不 容易 。 


大 约 公 元 1 世纪 的 时 候 ， 印 度 发 明了 一 种 自己 的 数字 系统 。 它 
传播 到 了 波斯 ， 并 在 那里 得 到 改善 ， 而 后 传 入 阿拉 伯 国 家 ， 得 到 了 
极 大 的 改进 。 这 也 就 是 今天 使 用 的 阿拉 伯 数 字 的 前 身 。 十 字 军 东 征 
给 当地 人 民 带 来 了 彻头彻尾 的 灾难 ， 但 同时 也 把 西欧 文明 带 到 了 地 
中 海 东 部 ， 而 其 中 最 重要 的 引入 就 是 阿拉 伯 数 字 。 公 元 1000 年 ， 
教皇 西 尔 维 斯 特 二 世 开 始 倡导 使 用 阿拉 伯 数 字 。12 世纪 ， 介 绍 阿拉 
伯 数 字 的 书籍 被 翻译 成 拉丁 文 ， 传 播 到 了 整个 欧洲 地 区 。 这 也 就 开 
启 了 算术 的 腾飞 。 
早 在 阿拉 伯 数 字 传 播 到 欧洲 之 前 ， 计 数 板 的 使 用 就 已 经 改善 了 算术 。 计 
数 板 就 是 在 光滑 的 托盘 上 放 上 代 币 来 表示 数量 ， 人 们 通过 移动 代 币 到 某 个 区 
域 进行 加 减 。 但 是 ， 这 种 计数 板 有 着 严重 的 缺陷 ， 即 过 大 和 过 小 的 计算 无 法 
同时 进行 。 最 主要 的 缺陷 还 是 ， 这 些 计数 板 上 的 数字 变化 很 快 ， 不 小 心 的 碰 
撞 或 者 是 摆 错 一 位 都 会 导致 完全 错误 的 结果 。 而 且 ， 如 果 说 计数 板 锅 强 可 以 
进行 计算 的 话 ， 那 它 也 不 适合 用 来 记录 。 因 为 一 旦 需要 将 数字 记录 在 计数 板 以 
外 的 地 方 ， 就 必须 把 计数 板 上 的 数字 转化 成 罗马 数字 ， 这 可 就 费时 费力 了 。” 


算术 赋予 了 数据 新 的 意义 ， 因 为 它 现 在 不 但 可 以 被 记录 还 可 以 被 分 析 和 


DQ 欧洲 人 没有 接触 过 东方 的 算盘 ， 后 来 证 明 这 是 很 有 利 的 ， 因 为 算盘 可 能 会 加 剧 罗 马 数字 在 
西方 的 盛行 。 一 一 作者 注 
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再 利用 。 阿 拉 伯 数字 从 12 世纪 开始 在 欧洲 出 现 ， 而 直到 16 世纪 晚期 才 被 广 
ZRH. Bll 16 世纪 的 时 候 ， 数 学 家 们 大 肆 鼓 吹 他们 使 用 阿拉 伯 数 字 计 算 能 比 
使 用 计数 板 快 6 倍 。 但 最 终 让 阿拉 伯 数 字 广 为 采用 的 还 是 复式 记 账 法 "的 出 现 ， 
它 也 是 数据 化 的 一 种 工具 。 


公元 前 3000 年 ， 会 计 手稿 就 出 现 了 。 但 是 ， 记 账 法 在 接 下 来 的 几 百 年 
里 发 展 缓慢 ， 基 本 上 一 直 保 持 在 记录 某 地 的 某 个 特定 交易 的 阶段 。 记 账 人 和 
他 的 雇主 最 关心 的 就 是 判断 某 个 账户 或 者 自己 所 从 事 的 行业 是 否 赚钱 ， 而 这 
正 是 当时 的 记 账 手法 无 法 轻易 做 到 的 事情 。 到 了 14 世纪 ， 随 着 意大利 的 会 计 
们 开始 使 用 两 个 账本 记录 交易 明细 ， 这 种 尴 众 的 境地 开始 发 生 改 变 。 这 种 记 
账 法 的 优势 在 于 ， 人 们 只 需要 将 借贷 相 加 ， 就 可 进行 制 表 并 得 知 每 个 账户 的 
僵 亏 情况 。 如 此 ， 数 据 骤 然 发 声 了 ， 虽 然 仅 限于 读 出 盈亏 情况 。 


如 今 ， 复 式 记 账 法 通常 被 看 成 是 会 计 业 和 金融 业 不 断 发 展 的 成 果 。 事 实 
上 ,在 数据 利用 的 推进 过 程 中 ， 它 也 是 一 个 里 程 碑 似 的 存在 。 它 的 出 现实 现 
了 相关 账户 信息 的 “分 门 别 类 ”记录 。 它 建立 在 一 系列 记录 数据 的 规则 之 上 ， 
也 是 最 早 的 信息 记录 标准 化 的 例子 ， 使 得 会 计 们 能 够 读 懂 彼此 的 账本 。 复 式 
记 账 法 可 以 使 查询 每 个 账户 的 盈亏 情况 变 得 简单 容易 。 它 会 提供 交易 的 记 账 
线索 ,这 样 就 更 容易 找到 需要 的 数据 。 它 的 设计 理念 中 包含 了 “ 纠 错 ” 的 思想 ， 
这 也 和 是 今天 的 技术 人 才 们 应 该 学 习 的 。 如 果 一 个 账本 看 着 不 对 劲 ， 我 们 可 以 
查询 为 一 个 相对 应 的 账本 。 


D ”所谓 复式 记 账 法 ， 是 指 以 资产 与 权益 平衡 关系 作为 记 账 基础 ， 对 于 每 一 项 经 济 业 务 ， 都 要 
在 两 个 或 两 个 以 上 的 账户 中 相互 联系 进行 登记 ， 系 统 地 反映 资金 运动 变化 结果 的 一 种 记 
账 方法 。 复 式 记 账 的 理论 依据 是 会 计 基 本 等 式 ， 即 “资产 = 负债 + 所 有 者 权益 "”。 一 一 译 
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但 是 ， 和 阿拉 人 数字 一 样 ， 复 式 记 账 法 也 没有 立即 取得 成 功 。 直 到 200 年 
之 后 ， 一 个 数学 家 和 一 个 商业 家 族 才 让 它 大 受 欢 迎 ， 他 们 也 改变 了 数据 化 的 
历史 


XPS BF OE TI OF BS SS HIE EBB + 由 西 奥 利 (Luca Pacioli )。1494 
年 ， 他 出 版 了 一 本 为 普通 谈 者 和 商人 所 与 的 数学 教材 。 这 本 书 大 获 成 功 ， 成 
为 盛行 一 时 的 数学 教科 书 。 这 是 第 一 本 全 书 都 使 用 阿拉 伯 数 字 的 书籍 ， 因 此 
也 促进 了 阿拉 们 数字 在 欧洲 的 传播 。 当 然 ， 这 本 书 最 大 的 贡献 在 于 它 对 复式 
记 账 法 的 详尽 论述 。 接 下 来 的 几 十 年 间 ， 这 个 论述 复式 记 账 法 的 部 分 被 分 别 
MMS 6 种 语言 ， 并 且 成 为 几 个 世纪 的 通用 范本 。 


而 所 谓 的 一 个 商业 家 族 ， 就 是 指 美 第 齐 家 族 一 一 威尼斯 商人 和 亏 术 资 助 
人 。16 世纪 ， 这 个 家 族 能 成 为 欧洲 最 有 影响 力 的 银行 家 族 ， 很 大 一 部 分 要 归 
功 于 他 们 使 用 的 一 种 高 级 数据 记录 方法 一 一 复式 记 账 法 。 帕 西 奥 利 的 著作 和 
美 第 齐 家 族 的 成 功 莫 定 了 复式 记 账 法 成 为 标准 数据 记录 法 的 基础 ， 也 葛 定 了 
阿拉 伯 数 字 在 此 之 后 不 可 取代 的 地 位 。 


伴随 着 数据 记录 的 发 展 ， 人 类 探 林 世界 的 想法 一 直 在 膨胀 ， 我们 淘 望 能 
更 精准 地 记录 时 间 、 距 离 、 地 点 、 体 积 和 重量 ,等 等 。 到 了 19 世纪 ， 随 者 科 
学 家 们 发 明了 新 工具 来 测量 和 记录 电流 、 气 压 、 温 度 、 声 频 之 类 的 目 然 科学 
现象 ， 科 学 已 经 离 不 开 定 量化 了 。 那 是 一 个 一 切 事物 都 需 补 测量 、 划 分 和 记 
录 的 时 代 ， 人 们 对 理解 目 然 的 热情 其 至 高 涨 到 通过 分 析 测 量 人 的 颅骨 来 试图 
分 析 人 的 心智 能 力 。 好 在 ， 对 颅 相 学 这 类 伪 科 学 的 热情 最 终 淡 去 了 ,但 是 人 
类 对 于 量化 一 切 的 热情 却 始终 没有 减退 。 


新 工具 和 开放 的 思维 促进 了 测量 事物 和 记录 数据 的 楷 末 ， 而 现代 数据 化 
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就 诞生 于 这 片 沃 土 之 中 。 数 据 化 的 基础 已 经 葛 定 完好 ， 只 是 在 模拟 时 代 这 依 
然 是 费时 费力 的 。 有 时 候 似乎 需要 无 穷 无 尽 的 激情 和 耐心 ， 或 者 说 ， 起 码 也 
要 有 奉献 一 生 的 准备 ， 比 如 16 世纪 的 第 谷 ' 布 拉 赫 (Tycho Brahe) 就 夜 夜 细 
心 观察 天 体 运 动 。 数 据 化 在 模拟 时 代 成 功 的 例子 并 不 多 ， 因 为 这 需要 很 好 的 
运气 一 一 一 大 串 的 偶然 巧妙 地 结合 在 一 起 。 中 校 莫 里 就 很 幸运 ， 他 因 伤 坐 进 
了 办 公 室 ， 但 是 却 在 那里 发 现 了 珍贵 的 航海 日 志 ， 可 不 是 每 个 人 都 能 这 么 幸 
运 的 。 然 而 ， 数 据 化 的 实现 有 一 点 必 不 可 少 ， 那 就 是 要 从 潜在 的 数据 中 挖掘 
出 巨大 的 价值 ， 然 后 揭示 出 新 的 深刻 洞 见 。 


计算 机 的 出 现 带 来 了 数字 测量 和 存储 设备 ， 这 样 就 大 大 提高 了 数据 化 的 
效率 。 计 算 机 也 使 得 通过 数学 分 析 挖 掘 出 数据 更 大 的 价值 变 成 了 可 能 。 简 而 
言 之 ,数字化 带 来 了 数据 化 ， 但 是 数字 化 无 法 取代 数据 化 。 数 字 化 是 把 模拟 
数据 变 成 计算 机 可 读 的 数据 ， 和 数据 化 有 本 质 上 的 不 同 。 


当 文 字 变 成 数据 


数字 化 和 数据 化 的 差异 是 什么 ?回答 这 个 问题 很 容易 ， 我 们 来 看 一 个 两 
者 同时 存在 并 且 起 作用 的 领域 就 可 以 理解 了 ， 这 个 领域 就 是 书籍 。2004 年 ， 
谷歌 发 布 了 一 个 野心 勃勃 的 计划 : 它 试图 把 所 有 版 权 条 例 允 许 的 书本 内 容 进 
行 数字 化 ， 让 世界 上 的 所 有 人 都 能 通过 网 络 免费 阅读 这 些 书籍 。 为 了 完成 这 
个 伟大 的 计划 ， 谷 歌 与 全 球 最 大 和 最 著名 的 图 书馆 进行 了 合作 ， 并 且 还 发 明 
了 一 个 能 自动 翻 页 的 扫描 仪 ， 这 样 对 上 百 万 书籍 的 扫描 工作 才 切 实 可 行 且 不 
至 于 太 过 昂贵 。 


刚 开始 ， 谷 歌 所 做 的 是 数字 化 文本 ， 每 一 页 都 被 扫描 然后 存 人 谷歌 服务 
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器 的 一 个 高 分 辩 率 数字 图 像 文件 中 。 书 本 上 的 内 容 变 成 了 网 络 上 的 数字 文本 ， 
所 以 任何 地 方 的 任何 人 都 可 以 方便 地 进行 查阅 了 。 然 而 ， 这 还 是 需要 用 户 要 
么 知道 自己 要 找 的 内 容 在 哪 本 书 上 ， 要 人 么 必须 在 浩瀚 的 内 容 中 寻觅 目 己 需要 
的 片段 。 因 为 这 些 数字 文本 没有 被 数据 化 ， 所 以 它们 不 能 通过 搜索 词 被 查找 
到 ， 也 不 能 被 分 析 。 谷 歌 所 拥有 的 只 是 一 些 图 像 ， 这 些 图 像 只 有 依 徘 人 的 阅 
读 才 能 转化 为 有 用 的 信息 。 


虽然 这 是 一 个 现代 的 、 数 字 化 的 亚历山大 图 书馆 ， 比 历史 上 任何 一 个 图 
书馆 都 要 强大 ,但 谷歌 依然 希望 它 能 做 得 更 多 。 谷 歌 知道 ， 这 些 信息 只 有 被 
数据 化 ， 它 的 巨大 潜在 价值 才 会 被 释放 出 来 。 因 此 谷歌 使 用 了 能 识别 数字 图 
像 的 光学 字符 识别 软件 来 识别 文本 的 字 、 词 、 句 和 段落， 如 此 一 来 ， 书 页 的 
数字 化 图 像 就 转化 成 了 数据 化 文本 。 


如 今 ,不仅 人 类 可 以 使 用 这 些 文本 信息 ， 计 算 机 也 可 以 处 理 和 分 析 这 些 
文本 数据 了 。 通 过 检索 和 查询 ， 我 们 可 以 对 它 进行 无 穷 无 尽 的 文本 分 析 ; 也 
可 以 揭示 一 个 词 以 及 词组 第 一 次 出 现 的 时 间 及 其 成 为 流行 词 的 时 间 ， 据 此 发 
现 几 百年 来 人 类 思维 发 展 和 思想 传播 的 轨迹 。 这 种 分 析 文 持 好 几 种 语言 。 


谷歌 的 数据 图 书馆 | 

你 可 以 自己 试 一 试 。 输 入 网 址 http://books. : : 

: google.com/ngrams, 打开 Google Ngram Viewer, © : | 
。 利用 谷歌 所 拥有 的 所 有 图 书 作为 数据 资源 ， 为 你 提 
A A | 
我 们 就 能 发 现 “causality”( 因果 关系 ) 这 个 词 在 : : 


7 
ERAS HOPPHOTERAAEHEHHTO NET EAH TERR THRHE HE PERTE 


aa ; A 
: 1900 年 之 前 的 使 用 频率 比 “correlation” ( 相关 关系 ) : 


jey uono y ; 


3 页 和 第 请 从 v ajeyo 
yuu pue WoA i 


DA IM MOH WUOJSUBZL IAA: 
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高 而 在 1900 年 之 后 ， 情 况 就 与 之 前 相反 了 。 对 
于 作者 存在 争议 的 书籍 ， 我 们 自己 也 可 以 进行 作品 
风格 鉴定 。 数 据 化 的 实现 让 抄袭 学 术 作品 的 行为 越 
来 越 无 处 藏身 ， 因 此 ， 很 多 欧洲 政客 ( 包括 一 名 德 
— 国 国防 部 长 ) 的 抄 和 袭 行为 被 暴露 ， 最 终 不 得 不 引 知 | 
: HERR | 


15 世纪 中 叶 ， 人 类 发 明了 印刷 机 ， 在 这 之 后 大 约 出 版 了 1.3 亿 册 图 书 。 
到 2010 年 为 止 ， 也 就 是 谷歌 的 数字 化 图 书 计划 实行 7 年 之 后 ， 大 约 有 2 000 
万 图 书 被 扫描 成 了 数字 图 书 ， 这 几乎 相当 于 人 类 所 有 书写 文明 的 15%， 这 是 
多 么 惊人 的 数字 ! 这 诱发 了 一 个 新 的 学 术 方 向 一 一 文化 组 学 ”"。“ 文 化 组 学 ” 
是 一 个 计算 机 专业 词汇 ， 指 的 就 是 通过 文本 的 定量 分 析 来 揭示 人 类 行为 和 文 
化 发 展 的 趋势 。 





在 一 项 研究 中 ， 哈 佛 大 学 的 研究 员 们 对 几 百 万 册 书 籍 和 超过 5 000 亿 个 
单词 进行 了 深入 的 研究 ， 发 现 这 些 书 中 出 现 过 的 单词 有 一 半 以 上 在 字典 中 是 
无 法 找到 的 。“ 他 们 写 道 ， 这 些 因 为 不 够 规范 而 没有 录入 正规 词典 中 的 词汇 
如 此 之 多 ， 是 一 个 巨大 的 宝藏 。 通 过 系统 分 析 人 们 如 何 提 及 纳粹 德国 时 期 的 
犹太 画家 马克 . 夏 加 尔 (Marc Chagall) 2， 他 们 发 现 对 于 思想 或 是 个 人 的 审 
D 文化 组 学 英文 叫做 culturomics， 是 “文化 ”和 “基因 组 学 ”两 个 词 的 合并 。 本 书 中 提 到 的 

哈佛 研究 组 是 文化 组 学 最 早 的 倡导 者 ， 其 核心 人 员 艾 略 效 . 利 波 曼 - 埃 顿 (Erez Lieberman 

Aiden) 以 前 是 研究 基因 组 学 的 。 一 一 译 者 注 
© “出现 一 次 是 出 现 ， 出 现 一 亿 次 也 是 出 现 。 虽 然 有 一 半 以 上 的 词 都 是 新 词 怪 词 ， 但 这 些 词语 

出 现 的 频率 很 低 ， 很 多 就 只 出 现 一 两 次 ， 而 “the” 这 个 单词 就 出 现 了 数 百 亿 次 。 所 以 说 ， 


绝 大 部 分 单词 还 是 我 们 认识 的 。 一 一 译 者 注 
D 由 于 是 犹太 人 ， 他 的 很 多 作品 都 被 查封 了 。 一 一 作者 注 
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AMES RAR “RCH”, ARBEIT BP MSE Ra PICA ; 
EE “MAS” WAM URS RSA OM, PEPE TT. SR, 
这 可 能 牵涉 到 许多 的 偏 顾 行为 ， 比 如 图 书馆 的 书籍 是 不 是 真实 地 反映 了 现实 
呢 ? 还 是 反映 的 只 是 作者 和 图 书 管理 员 看 到 的 世界 ? SKEWE, 文化 组 学 
还 是 会 为 人 们 市 来 很 多 尺 吾 的 发 现 。 


当 文字 变 成 数据 ， 它 就 大 显 神通 了 一 一 人 可 以 用 之 阅读 ， 机 器 也 可 用 之 
分 析 。 但 是 作为 典型 的 大 数据 公司 ,谷歌 目 然 知道 收集 信息 并 进行 数据 化 的 
价值 ， 因 为 这 些 数据 有 非常 多 的 洪 在 用 途 。 所 以 ,谷歌 精明 地 利用 这 些 数 据 
化 了 的 文本 来 改进 它 的 机 带 翻 译 服 务 。 就 像 第 3 革 介 绍 过 的 一 样 ， 这 个 系统 
会 目 动 扫描 译本 ， 然 后 找 出 译 语 的 单词 和 词组 在 源 语 中 的 对 应 词 和 词组 是 什 
么 。 一 旦 得 到 答案 ， 系 统 就 可 以 把 翻译 看 成 是 一 个 简单 的 数学 问题 ， 只 需要 
用 电脑 找 出 两 种 语言 之 间 最 恰当 的 对 等 词 和 词组 。 


当然 ， 谷 歌 并 不 是 第 一 个 梦想 在 计算 机 时 代 唤 醒 书 写 文明 所 冀 
含 的 财富 的 公司 ， 它 也 不 是 第 一 个 吃 螃 蟹 的 人 。 早 先 的 古 登 堡 计划 
( Project Gutenberg ) 就 是 ，1971 年 ， 一 个 志愿 者 提出 倡议 把 公有 领域 
的 书籍 放 上 网 络 ， 制 成 电子 书 ， 方便 更 多 的 人 阅读 。 这 是 非常 有 意义 
的 , 但 是 这 个 计划 没有 把 书籍 数据 化 , 也 没有 开发 出 书籍 的 其 他 功能 ; 
它 关注 的 是 阅读 ， 而 不 是 扩充 书籍 用 途 。 同 样 地 ， 出 版 社 多 年 来 也 一 
直 致 力 于 电子 书 领 域 的 开发 ， 但 是 他 们 都 只 是 把 书籍 内 容 作 为 核心 价 
值 ， 而 没有 把 书籍 看 作 一 种 数据 并 纳入 自己 的 商业 模式 中 。 因 此 ， 他 
们 没有 做 到 把 书籍 的 数据 价值 挖 气 出 来 ， 也 不 允许 别人 这 样 做 。 他 们 
没有 看 到 数据 化 的 需求 ， 也 意识 不 到 书籍 的 数据 化 潜力 。 


现在 很 多 公司 都 在 电子 书 领 域 激烈 地 苋 争 看 ， 亚 马 还 连同 它 的 Kindle 电 
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子 书 就 是 这 个 领域 的 先驱 者 。 同 样 在 这 里 ， 亚 马 逊 和 谷歌 的 发 展 策略 差异 显 
ma IL. 


亚马逊 拥有 数据 化 的 书籍 ， 却 不 曾 挖掘 书籍 数据 化 之 后 的 附加 价值 。 该 
公司 创始 人 兼 执行 总 裁 贝 索 斯 说 服 了 上 百 家 出 版 社 在 Kindle 上 发 布 它们 的 图 
书 ， 所 以 Kindle 的 图 书 并 不 是 数字 图 像 ， 人 们 可 以 更 改 字体 大 小 和 用 黑白 以 
及 彩色 两 种 方式 看 书 。 这 些 书 籍 是 数据 化 了 的 ， 不 只 是 数字 化 。 事 实 上 ， 亚 
马 撑 把 上 百 万 的 新 书 都 数据 化 了 ， 而 谷歌 却 在 费力 地 数据 化 很 多 旧版 本 的 数 
据 。 然 而 ， 亚 马 逊 把 它 的 眼光 素 焦 于 用 来 阅读 的 书籍 内 容 上 ， 而 不 是 分 析 数 
据 化 文本 上 。 当 然 ， 有 可 能 它 面 对 了 来 自传 统 出 版 社 的 压力 ， 后 者 可 能 限制 
了 书籍 内 容 的 使 用 方法 ， 毕 竞 版 权 在 人 家 手中 。 谷 歌 ， 作 为 一 个 喜欢 跨 界 的 
叛逆 的 大 数据 公司 ， 就 没有 这 样 的 压力 了 ， 毕 竞 谷歌 的 资源 来 源 于 用 户 点 击 ， 
而 不 关 出 版 社 什么 事 。 至 少 现在 ， 可 以 不 失 公允 地 说 ， 亚 马 逊 深 说 数字 化 内 
容 的 意义 ， 而 谷歌 触及 了 数据 化 内 容 的 价值 。 


当 方 位 变 成 数据 


世界 本 里 构成 了 世界 上 最 基础 的 信息 。 但 是 ， 历 史上 它 几 乎 从 来 没有 被 
量化 和 数据 化 过 。 其 实 ， 人 和 事物 的 地 理 定位 自然 是 信息 的 组 成 部 分 ， 不然 
我 们 如 何 能 够 吟唱 “所 谓 伊 人 , 在 水 一 方 ”, 但 是 , 这 些 信息 需要 转变 为 数据 。 





BIG DATA | 。 对 地 理 位 置 的 数据 化 需要 满足 一 些 前 提 条 件 。 我 们 需 
A Revolution That = = 
的 标记 体系 ; 我 们 需要 收集 和 记录 数据 的 工具 。 简 而 言 之 ， 
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就 是 地 理 范 围 、 标 准 、 工 具 或 者 说 量化 、 标 准 化 、 收 集 。 
只 有 具备 了 这 些 ， 我们 才能 把 位 置信 息 当 成 数据 来 存储 和 
分 析 。 


在 西方 ， 对 位 置信 息 的 量化 起 源 于 希腊 。 公 元 前 200 年 ， 埃 拉 托 色 尼 发 
明了 用 格 网 线 来 划分 区 域 的 系统 ， 类 似 于 经 纬度 法 。 但 是 ， 如 同 很 多 古代 的 
好 想法 一 样 ， 它 也 在 历史 长 河中 被 慢 慢 遗忘 了 。 大 约 1500 年 之 后 ， 也 就 是 
公元 1400 年 ， 托 勒 密闭 成 的 《地 理学 》( Geographia ) 的 复印 本 从 君 士 坦 丁 
堡 传 到 了 佛罗伦萨 ， 那 正 是 文艺 复兴 和 贸易 船 点 燃 了 对 科学 和 古典 知识 的 热 
情 的 时 候 。 著 作 过 动 一 时 ， 而 书 中 提 到 的 系统 被 用 来 解决 现 航海 导航 的 难题 。 
从 那 以 后 ， 地 图 上 标 上 了 经 纬度 和 比例 尺 。 这 套 系统 在 1570 年 得 到 了 佛 兰 德 
制图 师 墨 卡 托 的 改善 ， 至 此 海员 们 就 能 利用 它 画 出 笔直 的 航线 了 。 


虽然 那 时 就 出 现 了 记录 地 理 方位 的 方法 , 但 却 缺 乏 广 为 认 可 的 标记 标准 ， 
使 得 信息 共享 依然 难以 实现 。 人 们 急需 一 套 标准 的 标记 系统 ， 就 像 互 联网 需 
要 有 域名 才能 正常 运行 一 样 。 经 纬度 的 标准 化 是 一 个 漫长 的 过 程 。 直 到 1884 
年 ， 在 美国 华盛顿 召开 的 国际 子午 线 会 议 上 ，25 个 与 会 国家 中 的 24 个 国家 
一 致 同意 将 英格兰 格林 尼 治 定 为 本 初子 午 线 和 零度 经 线 所 穿 过 的 地 方 〈 只 有 
自命 不 凡 的 法 国 投 了 弃权 票 )。20 世纪 40 年 代 ， 墨 卡 托 方位 法 把 世界 划分 成 
了 60 个 区 域 , 提高 了 地 理 定位 的 精确 性 。 


这 样 一 来 ， 地 理 定位 信息 终于 能 在 标准 化 的 数值 范式 下 进行 标记 、 记 录 、 
测量 、 分 析 和 共享 了 。 但 是 因为 在 模拟 数据 时 代 ， 测 量 和 记录 地 理 位 置信 息 
耗费 很 大 ,人 们 很 少 执行 。 因 此 ,发 明 能 低 成 本 测量 地 理 方 位 的 工具 人 迫在眉睫。 
到 20 世纪 70 年 代 ， 进 行 地 理 位 置 定 位 还 只 能 依靠 地 标 、 天 文 星 座 、 航 位 推 
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04. 数据 化 
一 切 骨 可 “量化 ” 


测 法 和 尚 显 欠 缺 的 无 线 电 定位 技术 。 


1978 年 见证 了 一 个 伟大 的 转变 ,当时 构成 全 球 定位 系统 (GPS) 
的 24 颗 卫 星 第 一 次 发 射 成 功 。 无 论 是 汽车 上 的 导航 系统 还 是 智能 
手机 ， 地 面 上 的 接收 器 都 能 通过 计算 接收 信号 所 需 时 间 的 差异 对 它 
们 进行 三 角 定 位 ， 而 这 些 信号 就 来 自 于 距离 我 们 20 372 千 米 的 天 
空 。20 世纪 80 年 代 ， 这 个 系统 第 一 次 对 民用 开放 ， 到 90 年 代 才 完 
全 投入 使 用 ， 而 同时 为 了 实现 商业 运用 ， 它 的 精确 度 在 十 年 后 得 到 
了 大 幅 提 升 。 如 今 ， 全 球 定位 系统 的 地 理 定位 能 精确 到 每 米 ， 就 这 
样 ， 它 实现 了 自古 以 来 无 数 航 海 家 、 制 图 家 和 数学 家 的 梦想 。 通 过 
与 技术 手段 的 融合 ， 全 球 定位 系统 能 够 快速 、 相 对 低 价 地 进行 地 理 
定位 ， 而 且 不 需要 任何 专业 知识 。 


定位 时 时 刻 刻 都 可 能 生成 信息 。 只 要 愿意 ， 埃 拉 托 色 尼 或 者 墨 卡 托 大 可 
以 每 时 每 刻 都 对 他 们 所 处 的 位 置 进行 定位 ， 这 谁 也 管 不 着 。 但 就 算 这 是 可 行 
的 ， 也 不 现实 。 同 样 地 ， 早 期 的 接收 器 非常 复杂 和 昂贵 ,适用 于 洪 艇 而 不 是 
出 租车 。 替 好， 改变 发 生 了 ， 这 多 亏 了 数字 设备 中 廉价 芯片 的 普及 。GPS 导 
航 的 价格 由 20 世纪 90 年 代 的 上 百 美元 又 降 到 了 今天 的 1 美元 以 下 。 用 GPS 
进行 定位 一 般 仅 需 要 几 秒 钟 的 时 间 ， 它 使 用 的 是 标准 化 坐标 表示 法 ; 所 以 37 
14 06°’ N 115 48’ 40’ W 说 明 这 个 人 一 定 是 位 于 内 华 达 州 偏远 的 51 号 区 域 
(Area 51), 一 个 美军 超 高 安全 、 超 级 保密 的 军事 基地 一 一 传说 那里 面 关 的 都 
是 外 星人 呢 ! 


如 今 ，GPS 已 经 只 是 众多 定位 系统 中 的 一 种 了 。 中 国 和 欧洲 也 正在 研发 
新 的 卫星 定位 系统 来 与 之 抗衡 。 这 些 新 系统 通过 对 电 塔 和 无 线路 由 器 的 信号 
强度 进行 三 角 测量 来 定位 地 理 位 置 ， 从 而 弥补 了 GPS 无 法 在 室内 和 高 楼 之 间 
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进行 定位 的 缺陷 ， 这 也 是 谷歌 、 苹 果 和 微软 需要 自己 研发 地 理 定 位 系统 来 辅 
B) GPS 的 原因 。 人 谷歌 街 景 (Google's StreetView) 车 边 拍 照 边 收集 无 线路 由 
aria; iPhone 本 身 就 是 一 个 “移动 间谍 ”， 一 直 在 用 户 不 知情 的 情况 下 收 
集 位 置 和 无 线 数据 然后 传 回 苹果 公司 ; 当然 ， 谷 歌 的 安 卓 手机 和 微软 的 手机 
操作 系统 也 在 收集 这 一 类 数据 。 


除了 人 以 外 ,我们 也 可 以 跟踪 事物 的 地 理 位 置信 息 。 随 着 汽车 装 上 了 无 
线 传 感 副 ， 地 理 位 置信 息 的 数据 化 深刻 变革 了 保险 的 概念 。 这 些 数据 提供 了 
关于 时 间 、 地 后 和 实际 行驶 路 程 的 详细 信息 ， 使 保险 公司 能 更 好 地 为 车 险 定 
flo ERN, 车主 可 以 根据 他 的 实际 驾驶 地 点 和 时 间 购 买 汽车 保险 ， 而 不 是 
只 能 根据 他 的 年 龄 、 性 别 和 履历 来 购买 年 险 。 这 种 保险 定价 法 激励 投保 人 产 
生 更 好 的 行为 习惯 。 同 时 ， 这 改变 了 保险 的 基础 ， 从 考虑 一 个 群体 的 平均 风 
险 转 变 为 个 性 化 的 分 析 。 通 过 汽车 定位 每 个 人 的 地 理 方位 也 改变 了 一 些 固定 
资产 投入 的 模式 ， 比 方 说 公路 和 其 他 基础 设施 可 以 让 使 用 这 些 资源 的 司机 和 
其 他 人 分 担 一 部 分 投入 。 当 然 ， 在 实现 对 所 有 人 和 事 以 数据 形式 保持 持续 定 
位 之 前 ， 这 显然 还 无 法 实现 ,但 这 是 我 们 的 发 展 方向 。 


二 


UPS 的 多 效 地 理 定 位 

UPS 快递 多 效 地 利用 了 地 理 定位 数据 。 为 了 使 : 

| 总 部 能 在 车 辆 出 现 晚 点 的 时 候 跟 踪 到 车 辆 的 位 置 和 ， : 

| 预防 引擎 故障 ， 它 的 货车 上 装 有 传感器 、 无 线 适 配 

| 器 和 GPS。 同 时 ， 这 些 设备 也 方便 了 公司 监督 管理 | 

员工 并 优化 行车 线路 。 就 像 莫 里 的 图 表 是 基于 过 去 

ebp T 
。 一 定 程度 上 也 是 根据 过 去 的 行车 经 验 总 结 而 来 的 。 
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: UPS Wit te SEB Su AN KKT (Jack Levis ) 
。 认为 这 个 分 析 项 目 效果 显著 。2011 年 ，UPS HEH 
| 员 们 少 跑 了 近 4 828 万 公里 的 路 程 ， 节 省 了 300 万 加 
| 仑 的 燃料 并 且 减 少 了 3 万 公吨 的 二 氧化 碳 排 放量 。 系 
| 统 也 设计 了 尽量 少 左 转 的 路 线 ， 因 为 左 转 要 求 货车 在 
”交叉 路 口 穿 过 去 ， 所 以 更 容易 出 事故 。 而 且 ， 货 
”往往 需要 等 待 一 会 儿 才能 左 转 ， 也 会 更 耗 油 ， 因 此 ， 
减少 左 转 使 得 行车 的 安全 性 和 效率 都 得 到 了 大 幅 
提升。 


a 
三 站 和 


莱 维 斯 说 ,“ 预 测 给 我 们 知识 ， 而 知识 赋予 我 们 智慧 和 洞 见 。 他 很 确信 ， 
有 一 天 ， 这 个 系统 一 定 能 在 用 户 意识 到 问题 之 前 预测 到 并 且 解 决 问题 。 


数据 化 实时 位 置信 息 在 人 号 上 的 运用 最 为 显著 。 多 年 来 ,无线 运营 商 通 
过 收集 和 分 析 这 些 信息 来 提升 移动 互联 网 的 服务 水 平 。 不 过 ， 这 些 数据 越 来 
越 多 地 被 用 于 其 他 事情 上 ， 第 三 方 也 开始 利用 这 些 数据 来 提供 新 的 服务 。 比 
Fw, 一些 智 能 手机 的 应 用 程序 也 不 管 它 本 映 是 否 具 有 定位 功能 ， 就 收集 位 
置信 息 ; 还 有 一 些 应 用 程序 就 是 为 了 获得 用 户 的 位 置信 息 而 存在 的 ， 比 如 
Foursquare， 它 让 用 户 在 最 喜爱 的 地 方 “check in”， 通 过 上 忠诚 度 计划 、 酒 店 推 
荐 和 “check in” 地 点 附近 的 其 他 推荐 而 获得 好 处 。 


毋庸 置疑 ， 收 集 用 户 地 理 位 置 数据 的 能 力 已 经 变 得 极其 具有 价值 。 从 个 
人 层面 上 来 说 ， 根 据 他 所 居住 的 地 点 和 他 要 去 的 地 方 的 预测 数据 ， 可 以 为 他 
提供 定制 广告 。 而 且 , 这 些 信 息 汇集 起 来 可 能 会 揭示 事情 的 发 展 趋 努 。 比 方 说 ， 
公司 可 以 利用 大 量 的 位 置 数据 预测 交通 情况 ， 你 也 许 无 法 想象 ， 这 是 通过 高 
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速 公 路 上 的 手机 而 不 是 汽车 的 数量 和 移动 速度 预测 出 来 的 。AirSage 每 天 通 
过 处 理 来 自 上 百 万 手机 用 户 的 150 亿 条 位 置信 息 ， 为 超过 100 个 美国 城市 提 
供 实 时 交通 讯息 。 其 他 两 个 位 置 数据 服务 商 Sense Networks 和 Skyhook 使 用 
位 置 数据 揭示 城市 夜生活 最 繁 采 的 地 方 或 者 游行 队伍 聚集 了 多 少 人 。 


不 过 ,位 置 数 据 在 商业 以 外 的 用 途 或 许 才 是 最 重要 的 。 麻 省 理工 学 阮 
媒体 实验 室 人 类 动力 学 ?实验 室 主任 亚历山大 BEX (Alexander “Sandy” 
Pentland ) FMA HJ Æ A A e PRR ZR (Nathan Eagle) 是 所 谓 的 “现实 挖掘 ” 
研究 的 先驱 。 “现实 挖掘 ” 指 的 就 是 通过 处 理 大 量 来 目 手机 的 数据 ， 发 现 和 预 
测 人 类 行为 。 在 一 项 研究 中 ， 他 们 通过 分 析 每 个 人 去 了 哪里 、 见 了 谁 ， 成 功 
地 区 分 出 了 感染 了 流感 的 人 群 ， 而 且 在 感染 者 还 完全 不 知道 目 己 已 经 患 病 之 
前 就 做 出 了 区 分 。 如 果 出 现 非 常 严 重 的 流感 疫情 ， 这 可 以 挽救 无 数 人 的 生命 ， 
因为 我 们 会 知道 应 该 隔离 谁 ， 而 且 随 时 都 知道 去 哪里 找到 他 。 但 是 这 些 数 据 
一 旦 落 和 坏人 之 手 ， 后 果 将 不 堪 设 想 ， 这 个 问题 我 们 将 在 后 文中 继续 讨论 。 


伊 格 尔 是 无 线 数据 科技 公司 Jana 的 创始 人 ， 他 使 用 了 来 自 100 多 个 国家 
的 超过 200 个 无 线 运营 商 的 手机 数据 一 一 覆盖 了 拉丁 美洲 、 非 洲 、 欧 洲 的 大 
约 35 亿 人 口 。 伊 格 尔 的 研究 既 关 注 家 庭 主 妇 平 均 每 周 去 几 次 洗衣 店 这 样 的 
肥 时 问题 ， 也 试图 回答 关于 疾病 如 何 传播 和 城市 如 何 过 来 这 样 的 重大 问题 。 
在 一 项 研究 中 ， 他 和 同事 结合 分 析 了 非洲 预付 费用 户 的 位 置信 息 和 他 们 账户 
的 资费 金额 ， 发 现 资费 与 收入 成 正比 : 越 富 有 的 人 一 次 性 预付 费 越 多 。 然 
而 ， 他 们 还 得 出 了 一 个 与 直觉 判 断 相 反 的 结 采 ， 那 就 是 贫民 宕 不 仅仅 是 永恒 
D 人 类 动力 学 是 一 门 典 型 的 大 数据 驱动 的 定量 化 学 科 ， 它 关注 人 类 行为 在 时 间 和 空间 上 表现 

出 来 的 统计 规律 ， 以 及 对 这 些 统计 规律 的 理论 解释 和 在 行为 预测 与 控制 上 的 应 用 。 科 学 出 


版 社 2012 年 出 版 的 《社会 动力 学 》 一 书 有 连续 6 篇 论文 综述 该 领域 的 主要 代表 方向 ， 可 
供 参 考 。 一 一 译 者 注 
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04. 数据 化 
一 切 丝 可 “量化 ” 


不 变 的 贫困 中 心 ， 还 是 经 济 繁荣 的 跳板 。 关 键 就 在 于 ， 我 们 要 意识 到 这 都 是 
手机 所 提供 的 位 置信 息 的 间接 利用 ， 而 和 移动 通信 自身 业务 没有 丝毫 关系 ， 
但 是 这 些 数据 最 初 又 是 为 了 更 好 地 开展 移动 通信 而 生成 的 。 总 之 ， 位 置信 息 
一 被 数据 化 ， 新 的 用 途 就 犹如 雨后春笋 般 涌现 出 来 ， 而 新 价值 也 会 随 之 不 断 
催生 。 


当 沟 通 成 为 数据 


数据 化 的 男 一 个 前 沿 更 加 个 人 化 ， 下 接触 措 到 了 我 们 的 关系 、 经 历 和 
情感 。 数 据 化 的 构思 是 许多 社交 网 络 公司 的 消 梁 。 社 交 网 络 平 台 不 仅 给 我 们 
提供 了 寻找 和 维持 朋友 、 同 事 关 系 的 场所 ， 也 将 我 们 日 常生 活 的 无 形 元 素 
提取 出 来 ， 再 转化 为 可 作 新 用 途 的 数据 。 正 因此 ，facebook 将 关系 数据 化 ; 
社交 关系 在 过 去 一 二 被 视 作 信息 而 存在 ,但 从 未 被 正 式 界定 为 数据 ， 下 到 
facebook“ 社 交 图 谱 ” 的 出 现 。twitter 通过 创新 ， 让 人 们 能 轻易 记录 以 及 分 
SAIS RANA, ARS RI RENE PAE, ERE LE LSC 
LinkedIn KRIER EKKA ET STE CE, RE Le CI LI H 
志 那 样 ， 把 信息 转化 为 对 现在 和 将 来 的 预测 : 我 们 可 以 认识 谁 ， 或 者 哪里 存 
在 一 份 心仪 的 工作 。 


然而 ， 数 据 的 使 用 还 远 未 成 熟 。 就 facebook 的 情况 来 说 ， 因 为 知道 太 早 
泄露 用 户 数据 的 许多 新 用 途 会 让 用 户 反 应 过 激 ， 所 以 它 精明 地 选择 了 忍耐 。 
万 外 ， 公 司 仍 然 在 为 其 收集 的 数据 数量 和 类 型 ， 包 括 隐私 问题 进行 商业 模式 
和 政策 上 的 调整 。 目 前 ， 它 所 面 对 的 指责 都 集中 在 能 采集 到 什么 ， 而 并 非 它 
实际 用 这 些 数据 十 了 什么 。 
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facebook2012 年 拥有 大 约 10 亿 有 用户 ， 他 们 通 | 大 数据 的 力量 
过 上 千 亿 的 朋友 关系 网 相互 连接 。 这 个 巨大 的 社 pig DATA | 
交 网 络 覆盖 了 大 约 10% 的 全 球 总 人 口 。? 想 想 这 | ARevoion tar 
所 有 的 关系 和 活动 在 数据 化 之 后 都 为 一 家 公司 所 OO 
掌控 ， 这 些 指责 和 质疑 就 不 能 算 作 空 穴 来 风 。 


不 可 否认 ， 其 潜在 用 途 非 比 寻 常 。 一 些 消 费 者 信贷 领域 的 创业 公司 正 考 
虑 开发 以 facebook 社交 图 谱 为 依据 的 信用 评分 。FICO ， 信 用 评分 系统 ， 利 用 
15 个 变量 来 预测 单个 借贷 者 是 否 会 偿还 一 笔 债务 。 但 一 家 获得 了 高 额 风 险 投 
资 的 (很 遗憾 这 里 必须 匿名 ) 创业 公司 的 一 项 内 部 研究 显示 ， 个 人 会 偿还 债 
务 的 可 能 性 和 其 朋友 会 偿还 债务 的 可 能 性 呈正 相关 。 正 应 了 一 句 老 话 : 物 以 
类 聚 ， 人 以 群 分 。 因 此 ，facebook 也 可 以 成 为 下 一 个 FICO。 显 然 ， 社 交 媒 体 
上 的 大 量 数据 也 许 能 形成 放飞 想象 的 新 型 商务 基础 ， 其 意义 远 不 止 表 面 上 我 
(MA BAY RR ote. RAS EEUU “EM” FRA 


JRF, twitter 也 已 经 开辟 了 其 数据 的 新 用 途 。 从 某 种 程度 上 说 ，2012 年 
超过 1.4 亿 用 户 每 天 发 送 的 4 亿 条 微 博 几 乎 就 和 随意 的 口头 零碎 差不多 。 事 实 
上 ， 它 们 通常 就 是 如 此 。 然 而 ，twitter 公司 实现 了 人 们 想法 、 情 绪 和 沟通 的 
数据 化 ， 这 些 都 是 以 前 不 曾 实现 的 。twitter 与 两 家 公司 ，DataSift 和 Gnip iA 
成 了 一 项 出 售 数据 访问 权限 的 协议 。 2 许多 公司 对 微 博 做 了 句法 分 析 ， 有 时 
还 会 使 用 一 项 叫做 情感 分 析 的 技术 ， 以 获得 顾客 反馈 意见 的 汇总 或 对 营销 活 
动 的 效果 进行 判断 。 


两 家 对 冲 基金 ， 伦 敦 的 英国 对 冲 基 金 ( Derwent Capital) 和 加 利 弗 尼 亚 


DO 有 部 分 人 在 facebook 上 拥有 多 于 一 个 账户 。 一 一 译 者 注 
D 尽管 所 有 微 博 都 是 公开 的 ， 对 “firehose” 的 访问 却 需 要 付费 。 一 一 作者 注 
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的 MarketPsych 开始 分 析 微 博 的 数据 文本 ， 以 作为 股市 投资 的 信号 (他 们 从 
未 公开 自己 的 商业 秘 决 ， 也 不 知道 是 倾向 于 投资 势头 良好 的 公司 还 是 做 空 )。 
两 家 公司 现在 都 在 向 经 商 者 出 售 信息 。 就 MarketPsych 而 言 ， 它 与 Thomson 
Reuters 合作 提供 了 分 布 在 119 个 国家 不 低 于 18 864 项 的 独立 指数 ， 比 如 每 
分 钟 更 新 的 心情 状态 ， 如 乐观 、 人 忧郁、 快乐、 害怕、 生气 ， 其 至 还 包括 创新 、 
诉讼 及 冲突 情况 等 。 


数据 被 人 类 利用 的 频率 远 没有 被 计算 机 利用 得 多 。 以 “金融 工程 师 ” 而 
闻名 的 华尔街 的 数学 奇才 们 ， 将 数据 传输 到 了 他 们 的 算法 模式 当中 ， 来 寻找 
能 锌 有 效 利 用 并 实现 赢利 的 隐 性 联系 。 根 据 社交 网 络 分 析 之 父 贝尔 纳 多 . 哈 
H (Bernardo Huberman ) “的 分 析 ， 微 博 中 单一 主题 出 现 的 频率 可 以 用 来 
预测 很 多 事情 ， 比 如 好 莱 坞 的 票房 收入 。 他 和 一 位 在 惠普 实验 室 工作 的 同事 
开发 了 一 个 程序 ， 可 以 用 来 监听 新 微 博 的 发 布 频率 ， 基 于 此 ， 他 们 就 能 预测 
一 部 电影 的 成 败 ， 这 往往 比 其 他 传统 评估 预测 方法 还 要 准确 。 


这 些 数据 的 用 途 不 胜 枚 举 。twitter 微 博 限 制 在 稀少 的 140 个 字符 中 ， 而 
与 每 条 微 博 联系 在 一 起 的 元 数据 是 十 分 丰富 的 。twitter 的 元 数据 ， 即 “关于 
信息 的 信息 ”， 其 中 包括 33 个 分 离 的 项 。 虽 然 一 部 分 信息 似乎 并 没 多 大 用 处 ， 
比如 twitter 用 户 界面 上 的 “墙纸 ”或 用 户 用 来 访问 这 项 服务 的 软件 ， 但 其 他 


由 贝尔 纳 多 哈 柏 曼 毫 无 疑问 是 惠普 实验 室 最 有 影响 力 的 科学 家 之 一 ,但 是 “社会 网 络 之 父 ” 
这 个 赞誉 还 是 有 些 不 同 寻 常 。 在 他 11 岁 的 时 候 , J.A. 巴 恩 斯 (JA. Barnes) 已 经 开始 系 
统 研 究 社交 关系 ， 并 使 用 了 社会 网 络 这 个 概念 ; 他 10 岁 到 14 岁 阶段 ， 正 是 兰 普 珀 特 (A. 
Rapoport) 发 展 关 于 社交 网 络 上 信息 和 资源 如 何 扩 散 、 哪 些 因 素 导致 了 社交 关系 的 形成 、 
如 何 用 随机 网 络 和 其 他 数学 方法 刻画 社交 网 络 等 一 系列 研究 的 关键 时 间 ， 比 哈 柏 曼 更 资深 、 
更 有 影 啊 力 的 社交 网 络 学 者 还 有 很 多 ， 璧 如 林 顿 .C - 弗 里 曼 (Linton Freeman )、 马 克 … 格 
兰 语 维特 ( Mark Granovetter ) 等 。 社 交 网 络 之 父 这 顶 帽 子 恐 怕 不 应 该 戴 在 他 的 头 上 ， 尽 管 
他 毫 无 疑问 是 非常 杰出 的 科学 家 。 一 一 译 者 注 
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的 元 数据 却 很 有 意思 ， 比 如 他 们 参与 服务 所 使 用 的 语言 、 所 处 的 地 理 位 置 、 
关注 的 人 以 及 粉丝 的 数量 和 名 字 。2011 年 《科学 》 杂 志 上 的 一 项 研究 显示 ， 
来 自 世 界 上 不 同文 化 的 人 们 每 天 、 每 周 的 心情 都 遵循 着 相似 的 模式 ， 这 项 人 研 
究 建 立 在 两 年 多 来 对 84 个 国家 240 万 人 的 5.09 亿 条 微 博 的 数据 分 机 上 ， 这 
在 以 前 完全 是 无 法 做 到 的 。 情 绪 真 的 已 经 被 数据 化 了 。 


数据 化 不 仅 能 将 态度 和 情绪 转变 为 一 种 可 分 析 的 形式 ， 也 可 能 转化 人 类 
的 行为 。 这 些 行 为 难以 跟踪 ， 特 别 是 在 较 大 的 社区 和 其 中 的 子 人 群 环境 中 。 


微 博 关联 与 疫苗 接种 
来 自 宾夕法尼亚 州立 大 学 的 生物 学 家 马 塞 尔 ' 萨 : : 
拉 特 ( Marcel Salathé ) 和 软件 工程 师 沙 先 克 ' 坎 都 l : 
拉 斯 ( Shashank Khandelwal ) 通过 分 析 微 博 发 现 ， : : 
人 们 对 于 疫苗 的 态度 与 他 们 实际 注射 预防 流感 药物 
的 可 能 呈现 出 相关 性 。 重 要 的 是 ， 他 们 利用 twitter ， | 
用 户 中 谁 和 谁 相关 的 元 数据 进行 了 更 进一步 的 调查 ， 
发 现 未 接种 疫苗 的 子 人 群 也 可 能 存在 。 当 然 ， 这 项 
研究 的 特别 之 处 在 于 ， 不 同 于 如 谷歌 预测 流感 趋势 
时 利用 汇总 数据 考虑 一 个 地 区 人 口 的 “平均 ”健康 
O 状况， 萨 拉 特 开展 的 情绪 分 析 实 际 上 揭示 了 个 人 的 
。 卫生 行为 。 
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这 些 早期 的 发 现 预示 了 数据 化 将 走向 何方 。 和 谷歌 一 样 ， 一 些 社交 网 络 
( 如 facebook, twitter, LinkedIn, Foursquare ) 坐 拥 了 大 型 数据 的 宝藏 ， 一 旦 这 
些 数据 信息 得 到 了 深入 分 析 ， 它 们 就 能 轻易 获得 社会 各 行 各 业 以 及 三 教 九 流 
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的 几乎 所 有 的 动态 信息 。 


一 切 事物 的 数据 化 


只 要 一 上 扩 想 象 ， 万 干事 物 就 能 转化 为 数据 形式 ， 并 一 直 给 我 们 惊喜 。 
IBM 获得 的 “触感 技术 先导 ”专利 与 东京 的 越 水 重臣 教授 对 丑 部 的 研究 工作 
具有 相同 理念 。 非 知识 产权 律师 在 发 言 中 提 到 ， 那 是 一 块 触感 灵敏 的 地 板 ， 
就 像 一 个 巨大 的 智能 手机 屏幕 。 其 潜在 的 用 途 十 分 广泛 。 它 能 分 辨 出 放置 在 
其 上 的 物品 。 它 的 基本 用 途 就 是 适时 地 开 灯 和 开门 。 然 而 更 重要 的 是 ， 它 能 
通过 一 个 人 的 体重 、 站 姿 和 走路 方式 确认 他 的 身份 。 它 还 能 知道 菜 人 在 摔 倒 
之 后 是 否 一 直 没 有 站 起 来 。 有 了 它 ， 零 售 商 可 以 知道 商店 的 人 流量 。 当 地 板 
数据 化 了 的 时 候 ， 它 就 能 滋生 无 穷 无 尽 的 用 途 。 


其 实 没有 听 上 去 那么 荒 雇 。“ 自 我 量化 ”是 一 项 由 一 群 健身 迷 、 医 学 疯 
子 以 及 技术 狂人 发 起 的 运动 ， 通 过 测量 身体 的 每 一 个 部 位 和 生活 中 的 每 一 件 
事 来 让 生活 更 美好 一 一 或 者 至 少 用 量化 的 方式 来 获得 新 知 。 目 前 ， 自 我 量化 
运动 规模 还 很 小 ， 但 正在 日 益 壮 大 。 





随 着 智能 手机 和 计算 机 技术 的 普及 ， 对 个 人 最 重要 的 生活 行为 进行 数 
据 处 理 从 未 如 现在 这 般 容易 。 许 多 创业 公司 通过 测量 人 们 夜间 的 脑 电 波 来 斌 
图 找 出 他 们 的 睡眠 模式 。Zeo 公司 则 早已 制作 出 了 世界 上 最 大 的 睡眠 活动 数 
据 库 ， 揭 示 了 男性 与 女性 睡眠 时 快速 眼 动 量 的 差异 。Asthmapolis 公司 将 一 
个 感应 器 绑 定 到 哮喘 病人 佩戴 的 呼吸 器 上 ， 通 过 GPS 定位 ， 再 汇总 收集 起 
来 的 位 置 数据 ， 可 以 判断 环境 因素 ( 如 接近 特定 的 农作物 ) 对 哮喘 的 影响 。 
Fitbit 和 Jawbone 公司 让 人 们 测量 他 们 的 体力 活动 和 睡眠 。Basis 公司 用 腕 带 
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来 监测 佩戴 者 的 生命 体征 ， 包 括 其 心率 和 皮肤 电 传导 率 ， 以 此 测试 他 们 所 承 
受 的 压力 。2009 年 ， 苹 果 公 司 就 申请 了 一 项 专利 ， 通 过 音频 耳塞 收 集 关 于 血 
液 氧 合 、 心 率 和 体温 的 数据 。 获 取 数 据 正 变 得 比 以 往 任何 时 候 都 简单 而 不 受 
限制 。 


数据 化 能 帮助 我 们 获取 到 更 多 关于 人 体 运 作 方 式 的 信息 。 挪 威 耶 维 克 
| KF WDE A fa Al Derawi Biometrics 公司 联合 为 智能 手机 开发 了 一 款 应 用 
程序 ， 可 以 分 析 人 走路 时 的 步伐 并 将 其 作为 手机 解锁 的 安全 系统 。 同 时 ， 佐 
治 亚 理工 学 院 的 罗伯特 FEALIA (Robert Delano ) MAE YRA (Brian 
Parise ) FF AC T — ax OY iA iTrem 的 应 用 程序 ， 用 手机 内 置 的 测 震 仪 监测 人 
号 体 的 颤动 ， 以 应 对 帕 金 森 和 其 他 神经 系统 疾病 。 这 个 程序 给 医生 和 病人 
都 市 来 了 好 处 ; 它 让 患者 避免 了 在 医院 做 昂贵 的 体检 ， 也 让 医学 专家 们 能 
远程 监控 人 们 的 疾病 以 及 治疗 效果 。 据 东京 的 调查 人 员 说 ， 用 智能 手机 测 
量 震 动 虽然 没有 三 轴 测 震 仪 这 种 专门 的 医疗 吾 械 那么 精确 ， 但 也 只 差 了 一 
尽 ， 所 以 完全 可 以 放心 使 用 。 这 再 一 次 证 明 ， 一 点 点 的 不 精确 比 完全 精确 更 
有 效 。 


在 大 多 数 情 况 下 ， 我 们 会 采集 信息 并 将 之 存储 为 数据 形式 再 加 以 利用 。 
几乎 所 有 和 领域， 任何 事情 都 能 这 样 处 理 。GreenGoose 是 一 家 创业 公司 ， 他 们 
销售 能 放置 在 物品 上 的 微型 运动 感应 咒 ， 用 它 监 测 物品 的 使 用 次 数 。 比 如 把 
七 放置 在 一 捆 牙 线 、 一 个 酒水 灾 或 者 一 盒 独 食 上 ， 就 能 数据 化 牙齿 清洁 、 植 
物 护 理 以 及 宠物 喂养 的 信息 。 很 多 人 对 “ 物 联网 ”有 痢 宗教 般 的 狂热 ， 试 图 
在 一 切 生 活 中 的 事物 中 都 植 入 芯片 、 传 感 副 和 通信 模块 。 这 个 词 听 起 来 好 像 
和 互联 网 亲 如 姐妹 ， 其 实 不 过 是 一 种 典型 的 数据 化 手段 罢了 。 
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一 旦 世界 被 数据 化 ， 就 只 有 你 想不到 ， 没 有 信息 做 不 
到 的 事情 了 。 莫 里 通过 艰辛 的 人 工分 析 才 揭示 了 隐藏 在 数 
据 中 的 价值 ， 而 今天 ， 拥 有 了 数据 分 析 的 工具 ( 统计 学 和 





A Revolution That 
Witt Transform How Vie Live. 


Work, and Think 算法 ) 以 及 必需 的 设备 ( 信息 处 理 器 和 存储 器 A 我 们 就 可 
大 数据 洞察 以 在 更 多 领域 、 更 快 、 更 大 规模 地 进行 数据 处 理 了 。 在 大 


数据 时 代 ， 惊 喜 无 处 不 在 ! 


我 们 正在 进行 一 个 重大 的 基础 设施 项 目 ， 它 在 某 种 程度 上 与 我 们 过 去 所 
做 的 都 不 一 样 ， 无 论 是 罗马 的 水 渠 还 是 启蒙 运动 时 期 的 百科 全 书 。 它 如 此 的 
Bra, MRM; 同时 ， 又 因为 它 是 无 形 的 ， 不 像 水 渠 中 能 触 措 到 
的 水 ， 所 以 我 们 并 未 意识 到 它 的 存在 。 这 个 它 ， 就 是 无 处 不 在 的 数据 化 。 像 
其 他 的 基础 设施 那样 ， 它 会 给 社会 市 来 根本 性 的 变 早 。 


水 渠 让 城市 的 发 展 变 为 可 能 ， 印 刷机 推进 了 局 壹 运动 ， 报 纸 为 民族 国家 
的 兴起 葛 定 了 基础 。 但 这 些 基础 设施 都 侧重 于 流动 一 一 关于 水 、 关 于 知识 。 
电话 和 互联 网 也 是 如 此 。 相 比较 而 言 ， 数 据 化 代表 着 人 类 认识 的 一 个 根本 性 
转变 。 有 了 大 数据 的 帮助 ， 我 们 不 会 再 将 世界 看 做 是 一 连 串 我 们 认为 或 是 目 
然 或 是 社会 现象 的 事件 ， 我 们 会 意识 到 本 质 上 世界 是 由 信息 构成 的 。 


整整 一 个 多 世纪 以 来 ， 物 理学 家 们 一 直 宣 称 情况 应 该 是 这 样 的 一 一 并 非 
原子 而 是 信息 才 是 一 切 的 本 源 。 不 可 否认 ， 这 也 许 听 上 去 无 法 理解 。 然 而 通 
过 数据 化 ， 在 很 多 情况 下 我 们 就 能 全 面 采 集 和 计算 有 形 物 质 和 无 形 物质 的 存 
在 ， 并 对 其 进行 处 理 。 


将 世界 看 作 信息 ， 看 作 可 以 理解 的 数据 的 海洋 ， 为 我 们 提供 了 一 个 从 未 
有 过 的 审视 现实 的 视角 。 它 是 一 种 可 以 渗透 到 所 有 生活 领域 的 世界 观 。 
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A Revolution T 
rA "FF r ate te aas | 


今天 ， 我 们 生活 在 一 个 计算 型 的 社会 ， 因 为 我 们 相信 





BIG DATA 世界 可 以 通过 数字 和 数学 而 获得 解释 。 我 们 也 相信 知识 可 
A Revolution That 以 跨越 时 空 ， 事实 上 ， 我 们 对 书写 还 存在 着 一 种 根深 蒂 固 
Work ord thnk | 的 散 晨 。 明 天 ， 我 们 的 下 一 代 ， 一 群 被 “大 数据 观念 ” 陶 
大 数据 洞察 冶 长 大 的 家 伙 ， 会 发 自 肺腑 地 认为 “量化 一 切 ” 并 从 中 学 


习 对 于 社会 是 至 关 重 要 的 。 把 各 种 各 样 的 现实 转化 为 数据 ， 
对 今天 的 我 们 而 言 也 许 是 新 奇 而 有 趣 的 ， 但 在 不 久 的 将 来 ， 
这 将 变 成 如 同 吃饭 睡觉 一 样 与 生 俱 来 的 能 力 一 一 这 又 让 我 
想起 了 “数据 ”这 个 词语 的 拉丁 语 原意 。 


迟早 有 一 天 ， 数 据 化 的 影响 会 使 水 渠 和 报纸 的 影响 微 手 其 徽 ， 同 时 ， 通 
过 赋予 人 类 数据 化 世间 万 物 的 工具 ， 它 也 对 印刷 机 和 互联 网 的 地 位 提出 了 挑 
战 。 可 是 目前 ， 它 最 主要 的 用 途 还 是 在 商业 领域 。 大 数据 正 被 用 来 创造 新 型 
价值 ， 这 也 是 下 一 章 的 主题 。 
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“ 取 之 不 尽 ， 用 之 不 章 ”的 数据 创新 


DO 数据 就 像 一 个 神奇 的 钻石 矿 ， 当 它 的 首要 价值 被 
发 气 后 仍 能 不 断 给 予 。 它 的 真实 价值 就 像 漂浮 在 
海洋 中 的 冰山 ， 第 一 眼 只 能 看 到 冰山 的 一 角 ， 而 
绝 大 部 分 都 隐藏 在 表面 之 下 。 


B 


【 大 数据 先锋 】 

IBM， 电 动 汽车 动力 与 电力 供应 系统 优化 预测 
Hitwise， 通 过 流量 判断 消费 者 喜好 

亚马逊 ， 让 数据 的 价值 再 大 一 点 

移动 运营 商 与 数据 再 利用 

谷歌 街景 与 GPS 采集 

微软 与 谷歌 的 拼写 检查 

谷歌 ， 从 大 的 “噪音 ”数据 中 受益 

巴 诺 与 NOOK 快照 

在 线 教育 课程 ， 找 到 最 合适 阅读 的 论坛 帖子 
facebook, 从 66 亿 到 1040 亿 

DataMarket 与 InfoChimps， 提 供 免 费 与 付费 数据 
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ReCaptcha 与 数据 再 利用 


20 世纪 90 年 代 后 期 ， 网络 逐渐 变 得 拥堵 起 来 。 有 人 开发 了 一 于 名 为 
“Spambots” 的 垃圾 邮件 程序 软件 ， 回 成 千 上 万 名 用 户 批 量 发 送 三 告 信息 ， 淹 
没收 件 人 的 电子 邮箱 。 他 们 会 在 各 种 网 站 上 注册 ， 然 后 在 评论 部 分 留 下 成 百 
上 和 于 条 广告 。 网 络 因 此 成 了 一 个 不 守 规 矩 PZU, MERSE. 
且 ， 这 种 软件 似乎 打破 了 网 络 原 有 的 开放 性 和 多 用 性 模式 ， 要 知道 ， 正 是 这 
种 模式 向 人 们 提供 了 各 种 便利 ， 比 如 免费 电子 邮件 。 当 特 玛 捷 这 一 类 公司 根 
据 “ 先 到 先 服 务 ” 的 原则 提供 演唱 会 门票 网 上 订 票 服务 时 ， 作 兹 软件 会 偷偷 
摸 措 跑 到 真正 排队 的 人 之 前 ， 将 门票 全 部 买 下 。 


2000 年 ，22 岁 大 学 刚 毕 业 的 路 易 斯 . 冯 * 安 (Luis Von Ahn) 提出 了 解 
决 这 个 问题 的 想法 : 要 求 注册 人 提供 真实 身份 证 明 。 他 试图 找 出 一 些 人 类 容 
易 辨 别 但 对 机 器 来 说 却 很 难 的 东西 ， 最 后 他 想到 了 一 个 办 法 ， 即 在 注册 过 程 
中 显示 一 些 波 浪 状 、 状 识 度 低 的 字母 。 人 能 够 在 几 秒 钟 内 识别 并 输入 正确 的 
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05. 价值 
“ 取 之 不 尽 ， 用 之 不 竭 ” 的 数据 创新 


文本 信息 ， 但 电脑 却 可 能 会 被 难 倒 。 雅 虎 采 用 了 这 个 方法 以 后 ， 一 夜 之 间 就 
减轻 了 垃圾 邮件 带 来 的 苦恼 。 汉 ' 安 将 他 的 这 一 创作 称 为 验证 码 ( 全 称 为 “全 
自动 区 分 计算 机 和 人 类 的 图 灵 测 试 ” )。 五 年 后 ， 每 天 约 有 2 亿 的 验证 但 被 用 
户 输 入 。 


这 一 切 给 冯 ' 安 这 位 家 里 经 营 糖果 厂 的 危地马拉 人 带 来 了 相当 高 的 知名 
度 ， 使 他 能 够 在 取得 博士 学 位 后 进入 卡 内 基 梅 隆 大 学 工作 ,教授 计算 机 科学 ; 
也 使 他 在 27 岁 时 获得 了 50 万 美元 的 麦克 阿 蕊 基金 会 “天 才 奖 ”"。 但 是 ， 当 他 
意识 到 每 天 有 这 人 么 多 人 要 浪费 10 秒 钟 的 时 间 输 入 这 堆 恼 人 的 字母 ， 而 随后 大 
量 的 信息 被 随意 地 丢弃 时 ， 他 并 没有 感到 目 己 很 聪明 。 


于 是 ， 他 开始 寻找 能 使 人 的 计算 能 力 得 到 更 有 效 利用 的 方法 。 他 想到 了 
一 个 继任 者 ， 恰 如 其 分 地 将 其 命名 为 ReCaptcha。 和 原 有 随机 字母 输入 不 同 ， 
人 们 需要 从 计算 机 光学 字符 识别 程序 无 法 识别 的 文本 扫描 项 目 中 读 出 两 个 单 
词 并 输入 。 其 中 一 个 单词 用 来 确认 其 他 用 户 已 经 输入 的 结果 ， 从 而 判断 注册 
BEA; 另 一 个 单词 则 是 有 竺 辨识 和 解疑 的 新 闻 。 为 了 保证 准确 度 ， 系 统 会 
将 同一 个 模糊 单词 发 给 五 个 不 同 的 人 ， 直 到 他 们 都 输入 正确 后 才 确 定 这 个 单 
词 是 对 的 。 在 这 里 ， 数 据 的 主要 用 途 是 证 明 用 户 是 人 , 但 它 也 有 第 二 个 目的 : 
破译 数字 化 文本 中 不 清楚 的 单词 。ReCaptcha 的 作用 得 到 了 认可 ，2009 年 谷 
KATE ' 安 的 公司 ， 并 将 这 一 技术 用 于 图 书 扫 朱 项 目 。 


与 雇用 人 所 需要 花费 的 成 本 相 比较 ， 它 释放 ”。 大 数据 的 力量 
出 的 价值 是 非常 巨大 的 。 每 天 完成 的 ReCaptcha BIG DATA 





超过 2 亿 ， 按 平均 每 10 秒 输入 一 次 的 话 ， 一 天 加 
起 来 一 共 是 50 万 个 小 时 ， 而 2012 年 美国 的 最 低 
工资 是 每 小 时 7.25 美元 。 从 市 场 的 角度 来 看 ， 解 
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vill Tran m Hov y We 
Woks d Th 


大 数据 时 代 


疑 计算 机 不 能 识别 的 单词 每 天 需要 花费 约 350 万 
美元 ， 或 者 说 每 年 需要 花费 10 亿 多 美元 。 冯 : 安 
设计 的 这 个 系统 做 到 了 这 一 点 ， 并 且 ， 没 有 花 一 
分 钱 。 


ReCaptcha 的 改 事 强调 了 数据 再 利用 的 重要 性 。 随 着 大 数据 的 出 现 ， 数 
据 的 价值 正在 发 生变 化 。 


在 数字 化 时 代 ， 数 据 支持 交易 的 作用 被 掩盖 ， 数 据 只 
Pi DATA | 是 被 交易 的 对 象 。 而 在 大 数据 时 代 ， 事 情 再 次 发 生变 化 。 
ARevolution that | 数据 的 价值 从 它 最 基本 的 用 途 转变 为 未 来 的 潜在 用 途 。 这 





Wut Transform How Ve Live, 
Work, and Think 一 转变 意义 重大 ， 它 影响 了 企业 评估 其 拥有 的 数据 及 访问 
大 数据 洞察 者 的 方式 ， 促 使 甚至 是 迫使 公司 改变 他 们 的 商业 模式 ， 同 


| 时 也 改变 了 组 织 看 待 和 使 用 数据 的 方式 。 


言 恩 对 于 市 场 交 易 而 言 是 必 不 可 少 的 。 数 据 使 价格 发 现成 为 可 能 ， 比 如 
众所周知 的 一 点 ， 它 是 决定 生产 数量 的 信和 号。 一 些 特殊 类 型 的 信息 也 早已 在 
市 场 上 交易 ， 如 书籍 、 文 章 、 音 乐 、 电 影 以 及 金融 信息 〈 如 股票 价格 ) 等 。 
这 些 在 过 去 的 几 十 年 中 已 经 通过 个 人 数据 加 入 数据 库 。 美 国 的 专业 数据 经 纪 
人 ， 如 安 客 诚 (Acxiom )、 益 百 利 和 艾 可 飞 (Equifax) 等 ,专门 负责 从 数 亿 
名 消费 者 中 收集 个 人 信息 加 入 综合 档案 。 随 着 facebook、twitter、LinkedIn、 
Foursquare 等 社交 平台 的 出 现 ， 我 们 的 人 脉 关系 、 想 法、 喜好 和 日 常生 活 模 
式 也 逐渐 钙 加 入 到 巨大 的 个 人 信息 库 中 。 


总 之 ， 尽 管 数 据 长 期 以 来 一 直 是 有 价值 的 ， 但 通常 只 是 被 视 为 附属 于 企业 
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经 营 核心 业务 的 一 部 分 ， 或 者 被 归 人 知识 产权 或 个 人 信息 中 相对 狭 蓉 的 类 别 。 
但 在 大 数据 时 代 ， 所 有 数据 都 是 有 价值 的 ， 无 论 是 在 企业 内 部 或 是 数据 本 身 。 


这 里 所 说 的 “所 有 数据 ”包含 了 那些 最 原始 的 、 看 似 最 平凡 的 信息 单位 。 
想 一 想 工厂 机 器 上 热 传 感 器 的 读数 ，GPS 坐标 上 的 实时 数据 流 ， 菏 一 辆 或 者 
60 000 辆 车 的 加 速度 传感器 读数 和 燃料 水 平 。 再 想 想 数 十 亿 旧 的 搜索 查询 ， 
或 者 过 去 数 年 美国 每 趟 商务 航班 上 每 个 座位 的 价格 。 


但 是 ， 直 到 目前 仍然 没有 一 个 简单 的 方法 来 收集 、 存 储 和 分 析 这 些 数据 ， 
这 严重 限制 了 提取 其 潜在 价值 的 机 会 。 在 亚当 :斯 密 论述 18 世纪 开动 分 工时 
所 引用 的 著名 的 大 头 针 制 造 案例 中 ， 监 督 员 需要 时 刻 看 管 所 有 工人 、 进 行 测 
量 并 用 羽毛 笔 在 厚 纸 上 记 下 产 出 数据 。 而 且 测量 时 间 在 当时 也 较 难 把 握 ， 因 
为 可 靠 的 时 钟 都 尚未 普及 。 技 术 环境 的 限制 使 古典 经 济 学 家 在 经 济 构成 的 认 
识 上 像 是 戴 了 一 副 墨 镜 ， 而 他 们 却 几 乎 没有 意识 到 这 一 点 ， 就 像 鱼 不 知 赴 目 
己 是 湿 的 一 样 。 因 此 ， 当 他 们 在 考虑 生产 要 素 (土地 、 芭 动 力 和 资本 ) 时 ， 
信息 的 作用 严重 地 缺失 了 。 虽 然 在 过 去 的 两 个 世纪 中 ， 数 据 的 采集 、 存 储 和 
使 用 成 本 一 直 在 下 降 ， 但 直到 今天 也 仍然 维持 在 相当 昂贵 的 水 平 。 


我 们 所 处 的 时 代 之 所 以 与 众 不 同 ， 是 因为 数据 的 收集 不 再 存在 固有 的 局 
限 性 。 技 术 已 经 发 展 到 一 定 程度 ， 大 量 信息 可 以 被 廉价 地 捕捉 和 记录 。 数 据 
经 常会 得 到 被 动 地 收集 ， 人 们 无 须 投 入 太 多 精力 甚至 不 需要 认识 这 些 数 据 。 
而 且 ， 由 于 存储 成 本 的 大 幅 下 降 ， 保 存 数据 比 丢弃 数据 更 加 容易 。 这 使 得 以 
较 低 成 本 获得 更 多 数据 的 可 能 性 比 以 往 任何 时 候 都 大 。 


在 过 去 的 50 年 中 ， 数 字 存 储 成 本 大 约 每 两 
年 就 削减 一 半 ， 而 存储 密度 则 增加 了 5 000 万 倍 。 
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在 Farecast 或 谷歌 这 样 的 信息 公司 眼 里 ， 数 据 开 始 被 视 为 一 个 新 的 生产 
HR, 原始 事实 在 数字 流水 线 的 一 端 输入 ， 而 处 理 后 的 信息 则 从 男 一 端 输出 。 


大 部 分 数据 的 百 接 价值 对 收集 者 而 言 是 显而易见 的 。 事 实 上 ， 数 据 通常 都 
是 为 了 某 个 特定 的 目的 而 被 收集 一 一 商店 为 了 会 计 核算 而 收集 销售 数据 ， 工 厂 
为 了 确保 产品 符合 质量 标准 而 监控 输出 ， 网 站 记录 每 一 个 用 户 点 击 ( 即使 是 鼠 
标 光 标的 移动 ) 来 分 析 和 优化 其 呈现 给 访客 的 内 容 。 数 据 的 基本 用 途 为 信息 的 
收集 和 处 理 提供 了 依据 。 当 亚马逊 同时 记录 下 客户 购买 的 书籍 和 他 们 浏览 过 的 
页 面 ， 便 可 以 利用 这 些 数据 来 为 客户 提供 个 性 化 的 建议 。 同 样 ，facebook 跟踪 
用 户 的 “状态 更 新 ”和 “喜好 ”， 以 确定 最 佳 的 广告 位 从 而 赚 取 收入 。 


不 同 于 物质 性 的 东西 ， 数 据 的 价值 不 会 随 着 它 的 使 用 而 减少 ， 而 是 可 以 
不 断 地 被 处 理 。 这 就 是 经 济 学 家 所 谓 的 “ 非 况 争 性 ”的 好 处 : 个 人 的 使 用 不 
会 妨碍 其 他 人 的 使 用 ， 而 且 信 息 不 会 像 其 他 物质 产品 一 样 随 着 使 用 而 有 所 耗 
i. Alt, 亚马逊 在 回 其 用 户 ， 不 论 是 生成 这 些 数据 的 客户 或 是 其 他 客户 做 
出 建议 时 ， 都 可 以 不 断 地 使 用 过 去 的 交易 数据 。 





a i 数 据 的 价值 FF AN 仅 限 F 和 定 的 月 途 5 E 可 以 为 了 了 同 ge 
he 目的 而 被 多 次 使 用 ， 也 可 以 用 于 其 他 目的 。 要 了 解 大 数据 
时 代 究 竟 有 多 少 信息 对 我 们 有 价值 ， 后 面 这 一 点 尤其 重要 。 


当 沃尔玛 检查 以 往 的 销售 数据 并 发 现 飓风 和 看 扑 销 售 之 间 存 在 有 利 可 图 

的 关系 时 ， 这 种 潜力 的 一 部 分 已 经 得 到 实现 。 这 意味 着 数据 的 全 部 价值 远 远 
大 于 其 最 初 的 使 用 价值 ， 也 意味 着 即使 首次 或 之 后 的 每 次 使 用 都 只 带 来 了 少 

” 量 的 价值 ， 但 只 要 数据 被 多 次 使 用 过 ， 企 业 仍 然 可 以 对 数据 加 以 有 效 利用 。 
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数据 的 “选择 价值 ” 


想 知道 数据 的 重复 使 用 对 其 终极 价值 有 什么 意义 吗 ? 来 看 看 电动 汽车 的 
故事 吧 。 电 动 汽 车 能 否 成 功 地 作为 一 种 交通 工具 成 功 普及 ， 其 决定 因 系 多 如 
牛 毛 ， 但 一 切 都 与 电池 的 寿命 相关 。 司 机 需要 能 够 快速 而 便捷 地 为 汽车 电池 
充电 ， 电 力 公司 需要 确保 提供 给 这 些 车 辆 的 电力 不 会 影响 电网 运转 。 几 十 年 
的 试验 和 错误 才 实 现 了 现 有 加 油 站 的 有 效 分 配 ， 但 电动 汽车 充电 站 的 需求 和 
设置 点 目前 还 不 得 而 知 。 


有 趣 的 是 ， 与 其 说 这 是 一 个 基础 设施 问题 ， 不 如 说 这 是 一 个 信息 问题 ， 
因为 大 数据 是 解决 方案 的 重要 组 成 部 分 。 


TE EE DE A A dd A dh hd cde dd hd db dd A sid 和 


IBM ， 电动 汽车 动力 与 电力 供应 系统 优化 预 出 o 大 
在 2012 年 进行 的 一 项 试验 中 ，IBM 曾 与 加 利 福 ， $ 
锋 


POST EMM HORT ANAK EAL 


JEU} UONNIOABY Yy 


尼 亚 州 的 太平 洋 天 然 气 与 电气 公司 以 及 汽车 制造 商 本 

田 合 作 ， 收 集 了 大 量 信息 来 回答 关于 电动 汽车 应 在 何 ; 

时 何 地 获取 动力 、 对 电力 供应 的 影响 等 基本 问题 。 。 = 
基于 大 量 的 信息 输入 ， 如 汽车 的 电池 电量 、 汽 了 

车 的 位 置 、 一 天 中 的 时 间 以 及 附近 充电 站 的 可 用 插 

ES, BM 开发 了 一 套 复杂 的 预测 模型 。 它 将 这 些 

数据 与 电网 的 电流 消耗 以 及 历史 功率 使 用 模式 相 结 

合 。 通 过 分 析 来 自 多 个 数据 源 的 巨大 实时 数据 流 和 

历史 数据 ， 能 够 确定 司机 为 汽车 电池 充电 的 最 佳 时 

间 和 地 点 ， 并 揭示 充电 站 的 最 佳 设 置 点 。 最 后 ， 系 

统 需要 考虑 附近 充电 站 的 价格 差异 , 即使 是 天 气 预 


‘SALT GAA MOL UNOISUBIL IHAA 
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。 报 ， 也 要 考虑 到 。 例 如 ， 如 果 是 睛 天， 附近 的 太阳 
: ”能 供电 站 会 充满 电 ， 但 如 果 预 报 未 来 一 周 都 会 下 雨 ， 
那么 太阳 能 电池 板 将 会 被 闲置 。 

系统 采用 了 为 某 个 特定 目的 而 生成 的 数据 ， 并 
将 其 重新 用 于 另 一 个 目的 ， 换 言 之 ， 数 据 从 其 基本 
rar he apr teint 
变 得 更 有 价值 。 汽 车 的 电池 电量 指示 器 告诉 司机 应 
St gp ao een 
从 而 管理 电网 的 稳定 性 。 这 些 都 是 一 些 基 本 的 用 途 。 
这 两 组 数据 都 可 以 找到 二 级 用 途 ， 即 新 的 价值 。 它 
们 可 以 应 用 于 另 一 个 完全 不 同 的 目的 : 确定 何 时 何 
地 充电 以 及 电子 汽车 服务 站 的 设置 点 。 在 此 之 上 ， 
新 的 辅助 信息 也 将 纳入 其 中 ， 如 汽车 的 位 置 和 电网 
的 历史 使 用 情况 。 而 且 ， 这 些 数据 不 只 会 使 用 一 次 ， 
而 是 随 着 电子 汽车 的 能 耗 和 电网 压力 状况 的 不 断 更 
新 ， 一 次 又 一 次 地 为 IBM 所 用 。 


数据 的 真实 价值 就 像 漂浮 在 海洋 中 的 冰山 ， 第 一 眼 只 能 看 到 冰山 一 角 ， 而 


绝 大 部 分 则 隐藏 在 表面 之 下 。 明 白 了 这 一 点 ， 那 些 创新 型 企业 就 能 够 提取 其 港 
在 价值 并 获得 潜在 的 巨大 收益 。 总 之 ， 判 断 数据 的 价值 需要 考虑 到 未 来 它 可 能 
锌 使 用 的 各 种 方式 ， 而 非 仅 仅 考虑 其 目前 的 用 途 。 在 我 们 强调 过 多 次 的 例子 


中 这 一 点 体现 得 非常 明显 : Farecast 利用 机 票 销 售 数据 来 预测 未 来 的 机 票 价 


谷歌 重复 使 用 搜索 关键 词 来 监测 流感 的 传播 ; 麦 格雷 戈 博士 用 婴儿 的 生 


命 体征 来 预测 传染 病 的 发 生 ; 莫 里 重新 利用 老 船 长 的 日 志 而 发 现 了 洋流 。 
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尽管 如 此 ， 数 据 再 利用 的 重要 性 还 没有 被 企业 和 社会 充分 认识 到 。 纽 约 
联合 爱迪生 公司 的 高 管 中 很 少 有 谁 能 够 想到 ，19 世纪 的 电缆 信息 和 船员 的 维 
修 记录 可 以 用 来 预防 未 来 事故 的 发 生 。 很 多 互联 网 和 科技 公司 甚至 直到 最 近 
才 知 道 数 据 再 利用 具有 多 大 的 价值 。 要 解锁 这 些 数据 价值 ， 就 必须 通过 新 一 
代 统计 人 员 的 不 懈 努 力 并 借助 新 一 代 的 方法 和 工具 。 


用 物理 学 家 解释 能 量 的 方法 或 许可 以 帮助 我 们 理解 数据 。 他 们 认为 物体 
拥有 “储存 着 的 ”或 “潜在 的 ”能 量 ， 只 是 处 于 休眠 状态 ， 比 如 压缩 了 的 弹 
车 或 放置 在 小 山顶 的 小 球 。 这 些 物 体 中 的 能 量 是 隐藏 着 的 、 潜 在 的 ， 直 到 它 
们 被 释放 出 来 。 当 弹簧 被 释放 或 者 小 球 被 轻 碰 而 滚 下 山坡 时 ， 这 些 物 体 对 象 
的 能 量 就 变 成 了 “动能 ”， 因 为 它们 在 移动 并 对 其 他 物体 施 力 。 同 理 ， 在 基本 
用 途 完成 后 , 数据 的 价值 仍然 存在 , 只 是 处 于 休眠 状态 , 就 像 弹簧 或 小 球 一 样 ， 
和 耳 到 它 被 二 次 利用 并 重新 释放 它 的 能 量 。 在 大 数据 时 代 ， 我 们 终于 有 了 这 种 
思维 、 创 造 力 和 工具 ， 来 释放 数据 的 隐藏 价值 。 






Pig DATA 最 终 ， 数 据 的 价值 是 其 所 有 可 能 用 途 的 总 和 。 这 些 似 
A Revolution That | PE 限 的 潜在 用 途 就 像 是 选择 a 这 里 不 是 指 金融 工具 意义 


Wil Transform How We Live, 
Work, and Think 上 的 选择 ， 而 是 实际 意义 上 的 选择 。 这 些 选择 的 总 和 就 是 
大 数据 洞察 数据 的 价值 ， 即 数据 的 “选择 价值 ”。 


过 去 ,一 旦 数据 的 基本 用 途 实 现 了 ， 我 们 便 认为 数据 已 经 达到 了 它 的 目 
的 ， 准 备 将 其 删除 让 它 就 此 消失 。 毕 竟 ， 数 据 的 首要 价值 已 经 得 以 提取 。 而 
在 大 数据 时 代 ， 数 据 是 就 像 一 个 神奇 的 钻石 矿 ， 在 其 首要 价值 被 发 掘 之 后 仍 
能 不 断 给 予 。 数 据 的 选择 价值 有 四 种 最 为 常见 的 释放 方式 ; 基本 再 利用 、 合 
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并 数据 集 、 寻 找 “ 一 份 钱 两 份 货 ”以 及 计算 数据 价值 的 折旧 率 。 而 数据 废气 、 
开放 数据 则 是 更 为 独特 的 方式 。 


数据 创新 1: 数据 的 再 利用 


数据 创新 再 利用 的 一 个 典型 例子 是 搜索 关键 词 。 消 费 者 和 搜索 引擎 之 间 
的 瞬时 交互 形成 了 一 个 网 站 和 广告 的 列表 ， 实 现 了 那 一 刻 的 特定 功能 。 乍 看 
起 来 ， 这 些 信 息 在 实现 了 基本 用 途 之 后 似乎 变 得 一 文 不 值 。 但 是 ， 以 往 的 查 
询 也 可 以 变 得 非常 有 价值 。 有 的 公司 ， 如 数据 代理 益 百 利 旗下 的 网 页 流量 测 
量 公司 Hitwise， 让 客户 采集 搜索 流量 来 揭示 消费 者 的 喜好 。 通 过 Hitwise £ 
销 人 员 可 以 了 解 到 粉红 色 是 否 会 成 为 今夏 的 泣 流 色 ， 或 者 黑色 是 否 会 回归 漳 
流 。 合 歌 整理 了 一 个 版 本 的 搜索 词 分 析 ， 公 开 供 人 们 查询 ; 并 与 西班牙 第 二 
大 银行 BBVA 合作 推出 了 实时 经 济 指标 以 及 旅游 部 门 的 业务 预报 服务 ， 这 些 
指标 都 是 基于 搜索 数据 得 到 的 。 英 国 央 行 通过 搜索 查询 房地产 的 相关 信息 ， 
更 好 地 了 解 到 了 住房 价格 的 升降 情况 。 


Em 


亚马逊 ， 让 数据 价格 再 大 一 点 i 
未 能 理解 数据 再 利用 重要 性 的 公司 以 惨痛 的 代 | i 
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价 换 来 了 经 验 教 训 。 例 如 ， 亚 马 逊 早期 与 AOL 达成 
了 一 项 协议 ， 为 AOL 电子 商务 网 站 提供 后 全 技术 | 
服务 。 在 大 多 数 人 眼 里 ， 这 只 是 一 个 普通 的 外 包 协 ， 
piikin eme pg 
neath, xia, ienaam Liana 
高 它 的 推荐 引擎 性 能 ”亚马逊 前 首席 科学 家 韦 思 
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: ( Andreas Weigend ) 一 语 道破 。 可 怜 的 AOL 从 来 没 “. 
:。 有 意识 到 这 一 点 ， 只 看 到 了 销售 这 个 基本 用 途 所 带 
:来 的 利益 ;而 聪明 的 亚马逊 却 知道 如 何 从 二 次 利用 

。 中 获 利 。 


再 来 看 另 一 个 例子 ， 谷 歌 在 2007 一 2010 年 之 间 计 划 在 本 地 搜索 列表 中 
加 入 GOOG—411 语音 识别 服务 ， 但 这 家 搜索 巨头 并 没有 自己 的 语音 识别 技 
术 ， 因 此 急需 购买 许可 。 于 是 ， 谷 歌 与 该 领域 的 领导 者 Nuance 公司 达成 合作 
协议 ， 这 家 公司 因为 搭 上 了 这 样 一 个 珍贵 的 客户 而 感到 十 分 高 兴 。 但 Nuance 
公司 在 数据 方面 完全 是 个 十 足 的 笨蛋 : 合同 中 没有 规定 由 谁 来 保存 语音 翻译 
记录 ! 于 是 谷歌 目 己 保存 了 数据 。 这 些 数据 在 改进 技术 方面 是 不 可 或 缺 的 ， 
谷歌 甚至 据 此 从 头 创建 了 一 个 新 的 语音 识别 服务 系统 。 当 时 Nuance 公司 只 
考虑 到 了 软件 许可 的 业务 交易 ， 而 忽视 了 数据 的 处 理 。 当 认识 到 自己 犯 下 的 
错误 后 ， 它 立即 与 移动 运营 商 和 手机 制造 商 达 成 其 语音 识别 服务 的 使 用 交易 ， 
从 而 进行 数据 收集 。 


数据 再 利用 的 价值 对 于 那些 收集 或 控制 着 大 型 数据 集 但 目前 却 很 少 使 用 
的 机 构 来 说 是 个 好 消息 ， 比 如 在 那些 线 下 运作 的 传统 企业 。 他 们 或 许 正 坐 在 
尚未 开发 的 信息 喷 果 上 。 有 些 企业 可 能 已 经 收集 了 数据 并 使 用 过 一 次 ( 如 果 
可 能 的 话 )， 且 因为 存储 成 本 低 而 将 其 保存 了 下 来 ， 数 据 科学 家 们 称 这 类 保存 
旧 信 息 的 计算 机 为 “数据 坟墓”。 互 联网 和 科技 公司 在 利用 海量 数据 方面 走 在 
了 最 前 沿 ， 因 为 他 们 仅仅 通过 在 线 就 能 收集 大 量 的 信息 ， 分 析 能 力也 领先 于 
其 他 行业 。 但 是 ， 所 有 的 公司 都 可 能 会 从 中 获 利 。 麦 肯 锡 的 咨询 顾问 们 列举 
了 一 家 物流 公司 ( 名 称 保密 )。 这 家 公司 发 现 ， 在 交付 货物 的 过 程 中 积累 了 
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大 量 的 产品 全 球 出 货 信 息 。 嗅 到 了 这 个 机 会 之 后 ， 该 公司 成 立 了 专门 的 部 门 ， 
以 商业 和 经 济 预测 的 形式 出 售 汇总 数据 。 换 言 之 ， 它 创造 了 谷歌 过 去 搜索 查 
询 业 务 的 一 个 线 下 版 本 。 


由 于 在 信息 价值 链 中 的 特殊 位 置 ， 有 些 公 司 可 能 会 收集 到 大 量 的 数据 ， 
尽管 他 们 并 不 急需 使 用 或 擅长 再 次 利用 这 些 数据 。 例 如 ， 移 动 电话 运营 商 收 
集 用 户 的 位 置信 息 来 传输 电话 信号 。 对 于 这 些 公司 来 说 ， 数 据 只 具有 狭窄 的 
技术 用 途 。 但 是 当 它 被 一 些 发 布 个 性 化 位 置 广 告 服务 和 促销 活动 的 公司 再 次 
利用 时 ， 则 变 得 更 有 价值 。 有 了 时候 ， 数 据 的 价值 并 非 来 自 于 单个 的 数据 值 ， 
而 是 从 数据 汇总 中 体现 出 来 的 。 因 此 ，AirSage 和 Sense Networks 这 些 企业 会 
出 售 诸如 人 们 周 五 晚上 聚集 在 哪里 或 者 汽车 在 哪个 地 段 行驶 多 慢 等 信息 ， 这 
种 信息 集合 可 以 用 来 确定 房地产 价值 或 广告 牌 的 价格 。 


下 


移动 运营 商 与 数据 再 利用 

如 果 得 到 使 用 正确 ， 即 使 是 最 平凡 的 信息 也 可 | 

以 具有 特殊 的 价值 。 看 看 移动 运营 商 吧 ， 他 们 记录 : 
了 人 们 的 手机 在 何 时 何 地 连接 基站 的 信息 ， 包 括 : 
信号 的 强度 。 运 营 商 们 长 期 使 用 这 些 数据 来 微调 其 ， 
网 络 的 性 能 ， 决 定 哪里 需要 添加 或 者 升级 基础 设 : 

施 。 但 这 些 数据 还 有 很 多 其 他 潜在 的 用 途 ， 比 如 手 
机 制造 商 可 以 用 它 来 了 解 影响 信号 强度 的 因素 ， 以 
改善 手机 的 接收 质量 。 一 直 以 来 ， 处 于 隐私 保护 相 
关 法 律 的 限制 ， 移 动 运营 商 们 并 没有 用 这 些 数据 来 
谋取 利益 。 但 如 今 ， 随 着 经 济 形势 的 落 败 ， 它 们 开 
始 逐 渐 改 变 立 场 ， 认 为 数据 也 可 以 作为 其 利润 的 潜 


p 
让 


天 放大 机 有 人 


up, UONNIOASY Y 


Wor 
HULL, DUE HIOA 


SAN BMA MOH UHOJSUEIL IHAA 





05. 价值 
“ 取 之 不 尽 ， 用 之 不 竭 ”的 数据 创新 


和 


在 来 源 。2012 年 ， 西 班 牙 电话 公司 Telefonica of 
Spain )， 一 家 国际 电讯 公司 ， 甚 至 创立 了 独立 公司 
Telefonica Digital Insights 来 回 零 售 商 和 其 他 买 家 出 
售 其 收集 到 的 匿名 用 户 位 置信 息 。 


数据 创新 2: 重组 数据 


有 时 ， 处 于 休眠 状态 的 价值 只 能 通过 与 男 一 个 截然 不 同 的 数据 集结 合 才 
能 释放 出 来 。 用 新 的 方式 混合 这 些 数据 ， 我 们 可 以 做 出 很 有 创意 的 东西 来 。 
一 个 成 功 的 例子 是 2011 年 发 表 的 关于 手机 是 否 增加 致癌 可 能 性 的 一 项 有 趣 的 
人 研究。 全 球 约 有 60 亿 部 手机 ， 地 球 上 几乎 人 手 一 部 ， 因 而 这 个 问题 是 至 关 重 
要 的 。 人 们 做 了 大 量 的 研究 来 寻找 其 中 的 关联 ， 但 都 受 困 于 各 种 障碍 : 样本 
量 太 小 、 人 研究 时 间 太 短 或 者 是 错误 百出 的 目 我 报告 。 然 而 ,丹麦 癌症 协会 的 
研究 团队 基于 以 往 收集 的 数据 想 出 了 一 个 有 趣 的 方法 。 


RLS 


丹麦 癌症 协会 ， 手 机 是 否 增 加 致癌 率 E 
丹麦 拥有 1985 年 手机 推出 以 来 所 有 手机 用 户 ; 

的 数据 库 。 这 项 研究 调查 了 1990 年 至 2007 年 间 拥 : : 
有 手机 的 用 户 ( 企业 用 户 和 其 他 社会 经 济 数据 不 可 | 
用 的 用 户 除 外 )， 受 调查 者 一 共 是 358 403A, 该 : 2 
国 同时 记录 了 所 有 癌症 患者 的 信息 ， 在 那 期 间 共 有 : 


10 729 名 中 枢 神 经 系统 肿瘤 患者 。 结 合 这 两 个 数据 
集 后 ， 人 研究 人 员 开 始 寻 找 两 者 的 关系 手机 用 户 是 
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: 和 否 比 非 手 机 用 户 显示 出 较 高 的 癌症 发 病 率 ? EAF 
: 机 时 间 较 长 的 用 户 是 否 比 时 间 较 短 的 用 户 更 容易 患 
上 瘤 症 ? 

尽管 研究 的 规模 很 大 ， 数 据 却 没有 出 现 丝毫 混 
乱 或 含糊 不 清 。 为 了 满足 医疗 或 商业 的 目的 ， 两 个 
数据 集 都 采用 了 严格 的 质量 标准 ， 信 息 的 收集 不 存 
在 偏差 。 事 实 上 ， 数 据 是 在 多 年 前 就 已 经 生成 的 ， 
当时 的 目的 与 这 项 研究 毫 不 相关 。 最 重要 的 是 ， 这 
项 研究 并 没有 基于 任何 样本 ， 但 研究 对 象 N 接近 于 
全 集 ， 即 几乎 所 有 癌症 患者 和 移动 用 户 。 数 据 和 包含 
了 所 有 的 情况 ， 这 意味 着 研究 人 员 掌握 了 各 种 亚 人 
群 组 信息 ， 比 如 吸烟 人 群 。 

最 后 ， 研 究 没 有 发 现 使 用 移动 电话 和 癌症 风险 
增加 之 间 存 在 任何 关系 。 因 此 ， 当 2011 年 10 月 研 
究 结果 在 《英国 医学 杂志 》 上 发 布 时 ， 并 未 在 媒体 
界 引起 任何 又 动 。 但 是 如 果 两 者 之 间 存 在 关联 的 话 ， 
它 可 能 马上 就 会 登 上 世界 各 地 的 头 版 头条 ， 而 “ 重 
组 数据 ”也 可 能 会 随 之 名 声 大 噪 。 


随 着 大 数据 的 出 现 ， 数 据 的 总 和 比 部 分 更 有 价值 。 当 我 们 将 多 个 数据 集 


的 总 和 重组 在 一 起 时 ， 重 组 总 和 本 身 的 价值 也 比 单个 总 和 更 大 。 如 今 ， 互 联 
网 用 户 都 熟悉 基本 的 混 欣 式 应 用 ， 即 将 两 个 或 多 个 数据 源 以 一 种 新 颖 的 方法 
结合 起 来 。 例 如 ， 房 地 产 网 站 Zillow.com 将 房地产 信息 和 价格 添加 在 美国 的 
社区 地 图 上 ， 同 时 还 压缩 了 大 量 的 信息 ， 如 社区 近期 的 交易 和 物业 规格 ， 以 


此 来 预测 区 域内 具体 每 套 住 宅 的 价值 。 
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这 个 结 琳 极 具 指导 意义 ,因为 通过 视觉 展示 使 得 数据 更 加 亲 和 且 非常 简单 。 
但 采用 位 置信 息 并 将 其 置 于 地 图 上 毕竟 不 是 一 个 创造 性 的 飞跃。 随 着 大 数据 的 
出 现 ， 我 们 可 以 走 得 更 远 ， 丹 麦 的 癌症 研究 就 为 我 们 提示 了 更 多 的 可 能 性 。 


数据 创新 3: 可 扩展 数据 


促成 数据 再 利用 的 方法 之 一 是 从 一 开始 就 设计 它 的 可 扩展 性 。 虽 然 这 不 
能 一 二 有 效 ， 因 为 人 们 可 能 在 数据 收集 后 很 长 时 间 才 意识 到 这 一 点 , 但 是 的 
确 有 一 些 方法 可 以 或 励 相 同 数据 集 的 多 种 用 途 。 例 如 ， 有 些 零售 在 店内 安装 
了 监控 摄像 头 ， 这 样 不 仅 能 认 出 商店 扒手 ， 还 能 跟踪 经 过 商店 的 客户 流 和 他 
们 停留 的 位 置 。 零 售 商 利 用 后 面 的 信息 可 以 设计 店面 的 最 佳 布局 并 判断 营销 
活动 的 有 效 性 。 在 此 之 前 ， 监 控 摄 像 机 仅 用 于 安全 保卫 ， 是 一 项 纯粹 的 成 本 
文 出 ， 而 现在 却 被 视 为 一 项 可 以 增加 收入 的 投资 。 


谷歌 街景 与 GPS 采集 = 

在 收集 数据 时 强调 扩展 性 方面 ， 谷 歌 毫 无 疑问 
是 做 得 最 好 的 公司 之 一 。 其 备 受 争议 的 街景 汽车 不 ，: 
仅 拍摄 了 房屋 和 道路 的 照片 , 还 同时 采集 GPS 数据 ， 
检查 地 图 信息 pat oa BE | 
流 过 开放 性 无 线 网 络 的 内 容 , 尽管 这 可 能 是 非法 的 )。 
一 辆 谷歌 街 最 汽车 每 时 每 记 孝 月 积 黑 大 量 的 关上 OCC 
据 流 。 这 些 数据 之 所 以 具有 可 扩展 性 ， 是 因为 谷歌 
不 仅 将 其 用 于 基本 用 途 ， 而 且 进行 了 大 量 的 二 次 使 
用 。 例 如 ，GPS 数据 不 仅 优 化 了 其 地 图 服务 
对 谷歌 自动 驾驶 汽车 的 运作 功 不 可 没 。 
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大 数据 时 代 


收集 多 个 数据 流 或 每 个 数据 流 中 更 多 数据 点 的 额外 成 本 往往 较 低 ， 因 此 ， 
收集 尽 可 能 多 的 数据 并 在 一 开始 的 时 候 就 考虑 到 其 各 种 潜在 的 二 次 用 途 ， 使 
其 具有 扩展 性 是 非常 有 意义 的 。 这 增加 了 数据 的 选择 价值 。 问 题 的 关键 是 寻 
找 “ 一 份 钱 两 份 货 ”, 即 如 果 以 某 种 方式 收集 的 单一 数据 集 有 多 种 不 同 的 用 途 ， 
它 就 具有 双重 功能 。 


数据 创新 4: 数据 的 折旧 值 


随 着 数据 存储 成 本 的 大 幅 下 降 ， 企 业 拥 有 了 更 强 的 经 济 动机 来 保存 数据 ， 
再 次 用 于 相同 或 类 似 的 用 途 。 但 是 ， 其 有 效 性 是 有 限 的 。 例 如 ， 像 系 飞 和 亚 
马 逊 这 类 公司 可 以 利用 客户 购买 的 产品 、 浏 览 的 页 面 和 评论 来 推荐 新 的 产品 ， 
他 们 可 能 会 年 复 一 年 、 一 遍 又 一 遍地 使 用 这 些 数据 。 考 虑 到 这 一 点 ， 人 们 可 
能 会 认为 只 要 公司 不 被 隐私 保护 法 等 法 律 法 规 所 限制 ， 就 应 该 永远 保存 这 些 
数字 记录 ， 或 者 至 少 在 经 济 条 件 允 许 的 情况 下 保存 这 些 记录 。 然 而 ， 事实 并 
非 如 此 简单 。 


随 着 时 间 的 推移 ， 大 多 数 数据 都 会 失去 一 部 分 基本 用 途 。 在 这 种 情况 下 ， 
继续 依赖 于 旧 的 数据 不 仅 不 能 增加 价值 ， 实 际 上 还 会 破坏 新 数据 的 价值 。 比 
如 十 年 前 你 在 亚马逊 买 了 一 本 书 ， 而 现在 你 可 能 已 经 对 它 完 全 不 感 兴趣 。 如 采 
亚马逊 继续 用 这 个 数据 来 向 你 推荐 其 他 书籍 ， 你 就 不 太 可 能 购买 和 汕 有 这 类 标 
题 的 书籍 ， 甚 至 会 担心 该 网 站 之 后 的 推荐 是 否 合理 。 这 些 推 荐 的 依据 既 有 旧 
的 过 时 的 信息 又 有 近期 仍然 有 价值 的 数据 ， 而 旧 数 据 的 存在 破坏 了 新 数据 的 
价值 。 


于 是 ,亚马逊 决定 只 使 用 仍 有 生产 价值 的 数据 ， 这 就 需要 不 断 地 更 新 数 
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据 库 并 淘汰 无 用 信息 。 这 时 面临 的 挑战 就 是 如 何 得 知 哪 些 数据 不 再 有 价值 。 仅 
仅 依据 时 间 来 判断 显然 不 够 ， 因 此 ， 亚 马 逊 等 公司 建立 了 复杂 的 模型 来 帮助 
自己 分 离 有 用 和 无 用 的 数据 。 例 如 ， 如 果 客 户 浏览 或 购买 了 一 本 基于 以 往 购 
买 记录 而 推荐 的 书 ， 电 子 商务 公司 就 认为 这 项 旧 的 购 丑 记录 仍然 代表 看 客户 
的 喜好 。 这 样 ， 他 们 就 能 够 评价 旧 数 据 的 有 用 性 ， 并 使 模型 的 “折旧 率 ” 更 
具体 。 


然而 ， 并 非 所 有 的 数据 都 会 贬值 。 有 些 公司 提倡 尽 可 能 长 时 间 地 保存 数 
据 ， 即 使 监管 部 门 或 公众 要 求 它 们 短 时 间 内 删除 或 隐匿 这 些 信 息 。 这 就 解释 
了 为 什么 一 直 以 来 ， 谷 歌 都 拒绝 将 互联 网 协议 地 址 从 旧 的 搜索 查询 中 完全 删 
除 〈 它 只 是 在 18 个 月 后 删除 了 最 后 四 位 数 以 隐匿 搜索 查询 )。 谷歌 布 望 得 到 
每 年 的 同比 数据 ， 如 假日 购物 搜索 等 。 此 外 ， 通 过 了 解 搜索 者 的 位 置 ， 可 以 
帮助 改善 搜索 结果 的 相关 性 。 例 如 ， 很 多 纽约 人 都 会 搜索 “ 火 鸡 ”， 但 经 浓 会 
搜索 到 与 “ 火 鸡 ” 无 关 的 关于 “土耳其 ”的 网 页 (英文 中 “ 火 鸡 ”与 “土耳其 
同 为 turkey )， 通 过 算法 可 以 将 他 们 想 要 查看 的 页 面 放 在 排名 靠 前 的 位 置 ， 来 
方便 其 他 纽约 人 查找 。 即 使 数据 用 于 基本 用 途 的 价值 会 减少 ， 但 选择 价值 却 
依然 强大 。 


选择 价值 的 概念 表明 ， 组 织 机 构 应 收集 尽 可 能 多 的 使 
用 数据 并 保存 尽 可 能 长 的 时 间 。 同 时 也 应 当 与 第 三 方 分 享 数 
据 ， 前 提 是 要 保留 所 谓 的 “延展 性 ”权利 ( 专利 许可 术语 )。 
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A Revolution That 
Will Transform How We Live, 





Work, and Think 这 样 一 来 ， 由 数据 再 利用 而 产生 的 任何 商业 价值 ， 原 始 数据 
大 数据 洞察 拥有 者 都 能 从 中 分 到 一 杯 凌 。 数 据 收集 者 和 拥有 者 无 法 想象 


数据 再 利用 的 所 有 可 能 方式 ， 这 一 点 几乎 是 不 言 自明 的 。 
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大 数据 时 代 


数据 再 利用 的 方式 可 以 很 巧妙 、 很 隐蔽 。 网 络 公司 可 以 捕捉 到 用 户 在 其 
网 站 上 做 的 所 有 事情 ， 然 后 将 每 个 离散 交互 当 作 一 个 “信号 ”"， 作 为 网 站 个 性 
化 、 提 高 服务 或 创建 全 新 数字 化 产品 的 反馈 。 两 个 关于 拼写 检查 的 故事 给 癌 
我 们 提供 了 一 个 生动 的 解释 。 


PRADO TPO TOAD ER HER OTERO EMER TPO SERA AER EP OTE EAA HOE EHR ADTEMM EHO TE OEE EATER OT ERATE AH G EMME TROTTER PASH OHO ERA AEH 
à 


微软 与 谷歌 的 拼写 检查 leap 

在 过 去 的 20 多 年 中 ， 微 软 为 其 Word 软件 开发 BW 。3: 

出 了 一 个 强大 的 拼写 检查 程序 ， 通 过 与 频繁 更 新 的 ee 
字典 正确 拼写 相 比较 来 对 用 户 键入 的 字符 流 进行 判 M i 
断 。 字 典 囊 括 了 所 有 已 知 词汇 ， 系 统 将 拼写 相似 但 ， 





字典 中 设 有 的 词汇 肖 断 为 拼写 针 误 ， 并 对 其 进行 和 í D 
正 。 由 于 需要 不 断 编译 和 更 新 字典 ， 微 软 Word 的 ae 
拼写 检查 仅 适 用 于 最 常用 的 语言 ， 且 每 年 需要 花费 
数 百 万 美元 的 创建 和 维护 费用 。 

现在 册 来 看 看 谷歌 是 怎么 做 的 吧 。 可 以 说 ， 合 
歌 拥 有 世界 上 最 完整 的 拼写 检查 器 ， 基 本 上 涵盖 了 
世界 上 的 每 一 种 语言 。 这 个 系统 一 直 在 不 断 地 完善 
和 增加 新 的 词汇 ， 这 是 人 们 每 天 使 用 搜索 引擎 的 附 
加 结果 。 你 输 错 了 iPad 吗 ? 不 要 紧 ， 它 在 那儿 呢 ， 
Obamacare 是 什么 ? HR, FAAS 

而 且 ， 合 歌 几 乎 是 “免费 ”地 获得 了 这 种 拼写 
检查 ， 它 依据 的 是 其 每 天 处 理 的 30 亿 查 询 中 输入 
搜索 框 中 的 销 误 拼写 。 一 个 巧妙 的 反馈 循环 可 以 将 
用 户 实际 想 输入 的 内 容 告 知 系统 。 当 搜索 结果 页 面 
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共和 


的 顶部 显示 ,你 要 找 的 是 不 是 流行 病 学 ”时 ， 用 
户 可 以 通过 点 击 正确 的 术语 明确 地 “告诉 ”谷歌 自 
己 需 要 重新 查询 的 内 容 。 或 者 ， 直 接 在 用 户 访问 的 
页 面 上 显示 正确 拼写 的 结果 ， 因 为 它 很 可 能 与 正确 
的 拼写 高 度 相 关 。( 这 实际 上 比 看 上 去 更 有 意义 ， 因 
为 随 着 谷歌 拼写 检查 系统 的 不 断 完善 ， 人 们 即使 没 
有 完全 精确 地 输入 碍 询 内 容 也 能 够 获得 正确 的 查询 
25 Ro ) 
谷歌 的 拼写 检查 系统 显示 ， 那 些 “ 不 合 标准 ”、 
“不 正确 ”或 “有 缺陷 ”的 数据 也 是 非常 有 用 的 。 有 
趣 的 是 ， 谷 歌 并 不 是 第 一 个 有 这 种 拼写 想法 的 公司 。 
2000 年 左右 ， 雅 虎 也 看 到 了 从 用 户 输 错 的 查询 中 创 
建 拼写 检查 系统 的 可 能 性 ， 但 只 是 停留 在 了 想法 阶 
段 ， 并 未 付 诸 实 践 。 旧 的 搜索 查询 数据 就 这 样 被 当 
成 了 垃圾 对 待 。 同 样 ，Infoseek 和 Alta Vista 这 两 个 
早期 流行 的 搜索 引 警 ， 虽 然 在 那个 年 代 都 拥有 世界 
上 最 全 面 的 稍 别 字数 据 库 ， 但 他 们 未 懂得 欣赏 其 中 
的 价值 。 他 们 的 系统 ， 在 用 户 不 可 见 的 搜索 过 程 中 ， 
将 错别字 作为 “相关 词 ” 进 行 了 处 理 。 但 是 它 的 依 
据 是 明确 告诉 系统 对 与 错 的 字典 ， 而 不 是 鲜 活 的 、 
有 生命 的 用 户 交 互 总 和 。 
只 有 谷歌 认识 到 了 用 户 交 互 的 碎 居 实际 上 是 金 
粉 ， 收 集 在 一 起 就 能 锻造 成 一 块 内 亮 的 金 元 宝 。 合 
歌 的 一 名 顶级 工程 师 估 计 ， 他 们 的 拼写 检查 器 性 能 
:” 比 微软 至 少 高 出 一 个 数量 级 ( 虽然 他 在 采访 时 承认 
: 这 并 没有 进行 过 可 靠 计算 )。 他 还 嘲笑 了 “免费 " 开 


145 


A Revolution That 
Will Transform How We Live, 
; iR 


发 的 想法 一 一 “虽然 原材料 拼写 错误 都 是 免费 获得 
的 ， 但 谷歌 在 系统 开发 上 的 花费 可 能 比 微软 要 多 得 
多 。” 他 大 笑 着 说 。 


K 
本 





这 两 家 公司 的 不 同 做 法 很 能 说 明 问 题 。 微 软 只 看 到 了 拼写 检查 作为 文字 
处 理 这 一 个 目的 的 价值 ， 而 谷歌 却 理 解 了 其 更 深层 次 的 价值 。 不 仅 利 用 错 别 
字 开 发 了 世界 上 最 好 、 最 新 式 的 拼写 检查 器 来 提高 搜索 质量 ,而 且 将 其 应 用 
于 许多 其 他 服务 中 ， 如 搜索 的 “自动 完成 ”功能 、Gmail、 谷 歌 文档 其 至 翻译 
系统 。 


一 个 用 来 质 述 人 们 在 网 上 留 下 的 数字 轨迹 的 艺术 词汇 出 现 了 ,这 就 是 “ 数 
据 废气 "。 它 是 用 户 在 线 交 互 的 副产品 ， 包 括 浏览 了 哪些 页 面 、 停 留 了 多 久 、 
鼠标 光标 停留 的 位 置 、 输 入 了 什么 信息 等 。 许 多 公司 因此 对 系统 进行 了 设计 ， 
使 目 己 能 够 得 到 数据 废气 并 循环 利用 ， 以 改善 现 有 的 服务 或 开发 新 服务 。 援 
庸 置疑 ， 合 歌 是 这 方面 的 领导 者 ， 它 将 不 断 地 “从 数据 中 学 习 ” 这 个 原则 应 
用 到 许多 服务 中 。 用 户 执行 的 每 一 个 动作 都 被 认为 是 一 个 “信号 "， 谷 歌 对 其 
进行 分 析 并 反馈 给 系统 。 


从 生生 人 


谷歌 ， 从 大 的 “噪音 ”数据 中 受益 F 

例如 ， 谷 歌 敏锐 地 意识 到 ， 人 们 经 常 搜索 某 个 ， 

词 及 其 相关 词 ， 点 击 进入 后 却 未 能 找到 想 要 的 信息 ，: 
于 是 又 返回 到 搜索 页 面 继续 搜索 。 它 知道 人 们 点 击 : 

。 的 是 第 1 页 的 第 8 个 链接 还 是 第 8 页 的 第 1 个 链接 ，: of 
或 者 是 干 及 放弃 了 所 有 搜索 点 击 。 从 歌 不是 第 一 个。 加 
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05. 价值 
“ 取 之 不 尽 ， 用 之 不 竭 ” 的 数据 创新 


亲 贡 四 和 风 寺 有 网 玫 贡 和 和 和 有 


洞察 到 这 一 氮 的 公司 ， 但 它 利 用 这 一 氮 并 取得 了 非 
凡 的 成 果 。 


这 些 信息 是 非常 有 价值 的 。 如 果 许 多 用 户 都 点 
击 搜索 结果 页 底部 的 链接 ， 就 表明 这 个 结果 更 加 具 
有 相关 性 ， 谷 歌 的 排名 算法 就 会 自动 地 在 随后 的 搜 
索 中 将 它 提 到 页 面 中 比较 靠 前 的 位 置 ( 广告 也 是 如 
此 )。 一 位 谷歌 的 员工 说 :“ 我 们 喜欢 从 大 的 “噪音 - 
数据 集中 吸取 教 圳 。 


PESACH HOOT TRATED EHO TRATES MOT EMTS ERA EHH ROR ERASER ROE ERAT EES ERT PRS TERE ROS ERATE HOT ERAT EKER HH PMS nne reer eating 


数据 废气 是 许多 电脑 化 服务 背后 的 机 制 ， 如 语音 识别 、 垃 圾 邮件 过 滤 、 
翻译 等 。 当 用 户 指 出 语音 识别 程序 误解 了 他 们 的 意思 时 ， 他 们 实际 上 有 效 地 
“训练 ”了 这 个 系统 ， 让 它 变 得 更 好 。 


很 多 企业 都 开始 设计 他 们 的 系统 ， 以 这 种 方式 收集 和 使 用 信息 。 在 
facebook 的 早期 ， 数 据 科 学 家 们 研究 了 数据 废气 的 丰富 信息 ， 发 现 人 们 会 采 
取 某 种 行动 《如 回帖 、 点 击 图 标 等 ) 的 最 重要 的 预测 指标 就 是 他 们 看 到 了 周 
围 的 朋友 也 在 这 么 做 。 紧 接着 ，facebook 重新 设计 了 它 的 系统 ， 使 每 个 用 户 
的 活动 变 得 可 见 并 广播 出 去 ， 这 为 网 站 的 恨 性 循环 做 出 了 新 的 贡献 。 逐 渐 地 ， 
这 个 想法 从 互联 网 行业 传播 至 可 以 收集 用 户 反 馈 的 任何 公司 。 


关 业 站 


本 


RES NOOK 快照 E K 

电子 书 阅读 器 捕捉 了 大 量 关 于 文学 喜好 和 阅读 。 i 

人 群 的 数据 ， 读 者 阅读 一 页 或 一 节 需 要 多 长 时 间 ，，: 乱 
读者 是 略 读 还 是 直接 放弃 阅读 ， 读 者 是 否 画 线 强调 ， 


HUY pue MOM 


SANI Off, MOLY WHOISUBI] HAA 
}RY | UOUNIOASY y 


SOT POCA H HT PORTE EH HHO eT eee baer rewreee 
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A Re hat 
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t 


vouton T 


。 这 就 将 阅读 这 种 长 期 被 视 为 个 人 行为 的 动作 转换 成 
: 了 一 种 共同 经 验 。 一 旦 聚集 起 来 ， 数 据 废气 可 以 用 
。 量化 的 方式 向 出 版 商 和 作者 展示 一 些 他 们 可 能 永远 
。 都 不 会 知道 的 信息 ， 如 读者 的 好 恶 和 阅读 模式 。 这 
。 是 十 分 具有 商业 价值 的 。 电 子 图 书 出 版 公司 可 以 将 
。 这 些 信息 卖 给 出 版 商 ， 从 而 帮助 改进 书籍 的 内 容 和 
: 结构 。 例 如， 巴 诺 通 过 分 析 Nook 电子 阅读 器 的 数 
。 据 了 解 到 ， 人 们 往往 会 弃 读 长 篇 幅 的 非 小 说 类 书籍。 
。 公司 从 中 受到 启发 ， 从 而 推出 “Nook 快照 "， 加 入 
:了 一 系列 健康 和 时 事 等 专题 的 短篇 作品 。 


EE ETTET 


Udacity、Coursera 和 EDX 等 在 线 教育 课程 通过 跟 踊 学 生 的 Web 交互 来 
寻找 最 佳 的 教学 方法 。 班 级 人 数 成 干 上 万 ， 产 生 的 数据 也 十 分 惊人 。 教 授 
们 现在 可 以 看 到 ， 如 果 大 部 分 学 生 需 要 再 看 一 遍 课 程 内 容 ， 就 可 能 表明 某 些 
地 方 她 还 不 太 清 楚 。 在 斯 坦 福 大 学 教授 安德鲁 A (Andrew Ng) 讲授 的 
Coursera 机 青学 习 课 符 上 ， 他 注意 到 约 有 2 000 名 学 生 课 外 作业 的 答案 是 错 
误 的 ， 但 错误 答案 居然 是 相同 的 。 显 然 ， 他 们 都 犯 了 同一 个 的 错误 ， 那 么 是 
什么 呢 ? 


随 看 一 点 点 的 调查 ， 他 终于 弄 清 楚 了 ， 他 们 把 一 个 算法 里 的 两 个 代数 方 
程 弄 反 了 。 所 以 如 有 果 现 在 还 有 其 他 学 生 犯 同样 错误 的 话 ， 系 统 不 会 简单 地 告 
诉 他 们 做 错 了 ， 而 是 会 提示 他 们 去 检查 算法 。 这 个 系统 也 应 用 了 大 数据 ， 通 
过 分 析 学 生 看 过 的 每 个 论坛 帖子 以 及 他 们 是 否 正确 完成 课外 作业 ， 来 预测 看 
过 某 个 帖子 之 后 的 学 生 正 确 作答 的 概率 ， 并 由 此 来 确定 哪些 论坛 帖子 最 适合 
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学 生 阅 读 。 这 些 都 是 过 去 很 难得 知 的， 现在 却 永 远 地 改 变 了 教学 方式 。 


数据 废气 可 以 成 为 公司 的 巨大 竞争 优势 ， 也 可 能 成 为 对 手 的 强大 进入 壁 
仅 。 试 想 ， 如 果 一 家 新 上 市 的 公司 设计 了 一 个 比 当 今 行业 领先 者 ( 如 亚 马 还 、 
谷歌 或 facebook 等 ) 更 优秀 的 电子 商务 网 站 、 社 交 网 站 或 搜索 引擎 ， 它 也 难 
以 同 对 手 竞 争 ， 这 不 仅 是 因为 其 经 济 规 模 、 网 络 效应 或 品牌 价值 不 够 好 ， 而 
是 因为 这 些 公司 收集 了 来 和 目 客户 交互 的 数据 废气 并 纳入 到 他 们 的 服务 中 。 一 
个 新 的 在 线 教育 网 站 有 能 力 与 一 个 已 经 具备 庞大 数据 库 并 且 由 此 知道 什么 最 
好 的 对 手相 抗衡 吗 ? 


数据 创新 6: 开放 数据 


如 今 ， 我 们 很 可 能 认为 谷歌 和 亚马逊 等 网 站 是 大 数据 的 先驱 者 ， 但 事实 
上 上， 政府 才 是 大 规模 信息 的 原始 采集 者 ， 并 且 还 在 与 私营 企业 竞争 他 们 所 控 
制 的 大 量 数据 。 政 府 与 私营 企业 数据 持 有 人 之 间 的 主要 区 别 就 是 ， 政 府 可 以 
强迫 人 们 为 他 们 提供 信息 ， 而 不 必 加 以 说 服 或 支付 报酬 。 因 此 ， 政 府 将 继续 
收集 和 积累 大 量 的 数据 。 


大 数据 对 于 公共 部 门 的 适用 性 同 对 商业 实体 是 一 样 的 : 大 部 分 的 数据 价 
值 都 是 浴 在 的 ， 需 要 通过 创新 性 的 分 析 来 释放 。 但 是 ， 由 于 政府 在 获取 数据 
中 所 处 的 特殊 地 位 ， 因 此 他 们 在 数据 使 用 上 往往 效率 很 低 。 最 近 有 一 个 想法 
得 到 了 公认 ， 即 提取 政府 数据 价值 最 好 的 办 法 是 允许 私营 部 门 和 社会 大 众 访 
问 。 这 其 实 是 基于 一 个 原则 : 国家 收集 数据 时 代表 的 是 其 公民 ， 因 此 它 也 理 
应 提供 一 个 让 公民 查看 的 入 口 ， 但 少数 可 能 会 危害 到 国家 安全 或 他 人 隐私 权 
的 情况 除外 。 


149 


mS UNIA 


这 种 想法 让 “开放 政府 数据 ”的 倡议 啊 彻 全 球 。 开 放 数 据 的 倡导 者 主张 ， 
政府 只 是 他 们 所 收集 信息 的 托管 人 ， 私营 部 门 和 社会 对 数据 的 利用 会 比 政府 
更 具有 创新 性 。 他 们 呼吁 建立 专门 的 官方 机 构 来 公布 民用 和 商业 数据 ; 而 且 
数据 必须 以 标准 的 可 机 恋 形 式 展 现 ， 以 方便 人 们 处 理 。 否 则 ， 信 息 的 公开 只 
会 是 什 有 虚名 。 


2008 年 1 月 21 日 ,奥巴马 总 统 在 就 职 的 第 一 天 发 表 了 一 份 总 统 备忘录 ， 
命令 美国 联邦 机 构 的 负责 人 公布 尽 可 能 多 的 数据 ， 这 使 开放 政府 数据 的 想法 
取得 了 极 大 的 进展 。“ 面 对 怀疑 ， 公 开 优 先 。” 他 这 样 指示 道 。 这 真是 一 个 了 
不 起 的 声明 ， 特 别 是 与 那些 作出 相反 指令 的 前 任 们 相 比 。 奥 巴 马 的 指令 促成 
了 data.gov 网 站 的 建立 ， 这 是 美国 联邦 政府 的 公开 信息 资料 库 。 网 站 从 2009 
年 的 47 个 数据 集 迅 速 发 展 起 来 ,到 2012 年 7 月 三 周年 时 ， 数 据 集 已 达 45 万 
NEA, MAI 172 个 机 构 。 


即使 是 在 严谨 的 英国 ”“， 现 在 也 出 现 了 实质 性 的 转变 。 英 国政 府 已 经 颁 
布 相关 规定 辟 励 信息 公开 ， 并 支持 创建 由 万 维 网 的 发 明 者 蒂 姆 . 伯 纳 斯 (Tim 
Berners-Lee ) 参与 指导 的 开放 式 数据 中 心 ， 这 一 举措 促进 了 开放 数据 的 新 用 
途 并 将 数据 从 国家 手中 解放 出 来 。 


欧盟 宣布 开放 数据 的 举措 很 快 也 会 遍及 整个 欧洲 。 其 他 国家 ， 如 澳 大 利 
亚 、 巴 西 、 智 利 等 也 相继 出 台 并 实施 了 开放 数据 策略 。 同 时 ,世界 各 地 越 来 
越 多 的 城市 和 地 区 也 已 经 加 入 开放 数据 的 热潮 ， 一 些 国际 组 织 也 是 如 此 ， 世 
寞 银行 就 公 开 了 数 百 个 之 前 被 限制 的 关于 经 济 和 社会 指标 方面 的 数据 集 。 


D 以 往 大 量 的 政府 信息 都 封锁 在 英国 皇家 版 权 (Crown Copyright) 手中 ， 使 用 起 来 非常 困难 
和 昂贵 〈 比如 在 线 地 图 公司 用 到 的 邮递 区 号 ) 。 一 一 作者 注 
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同时 ， 各 种 Web 开发 人 员 和 富有 远见 的 思想 家 组 成 了 数据 团队 来 最 大 化 
开放 数据 价值 ， 如 美国 的 阳光 基金 会 和 英国 的 开放 知识 基金 会 。 


素 砚 是 和 亲人 外 人 
a 


FlyOnTime 的 航班 时 间 预 测 

开放 数据 早期 的 一 个 例子 ， 来 自 美国 一 个 叫 
FlyOnTime.us 的 网 站 。 人 们 可 以 交互 地 ( 从 许多 其 : : 
他 相互 关系 中 ) 判断 恶劣 天 气 使 某 一 特定 机 场 的 航 ， 
班 延迟 的 可 能 性 有 多 大 。 该 网 站 结合 了 航班 信息 和 互 | 
联网 免费 提供 的 官方 天 气 预报 ; 它 是 由 开放 数据 的 倡 ， : 
导 者 开发 的 ， 由 此 来 涪 明 美国 阴部 政府 所 积 困 信 息 的 
实际 使 用 价值 。 不 仅 数据 是 免费 提供 的 ， 而 且 软 件 代 
码 也 是 开放 源 代 码 ， 可 供 人 们 学 习 和 再 次 利用 。 

FlyOnTime.us 让 数据 说 话 ， 并 且 经 弟 语 出 惊人 。 
人 们 可 以 看 到 ， 从 波士顿 到 纽约 拉 瓜 迪 亚 机 场 的 航 
班 因 大 雾 延 迟 的 时 间 是 因 雪 延迟 的 两 倍 。 当 人 们 在 
候 机 室 豆 留 时 ， 大 部 分 人 可 能 都 料想 不 到 这 一 点 ， 
因为 他 们 通常 认为 雪 才 是 使 航班 延迟 更 重要 的 原因 。 
正 是 大 数据 给 了 人 们 这 种 洞察 力 ， 只 要 将 交通 运输 
局 的 历史 航班 延误 数据 和 美国 联邦 航空 管理 局 的 机 
场 信息 ， 以 及 美国 国家 海洋 和 大 气管 理 局 的 以 往 天 
气 报告 和 国家 气象 服务 的 实时 状态 结合 起 来 ， 就 能 
揭示 这 一 切 。FlyOnTime.us 充分 体现 了 一 个 不 收集 
或 控制 信息 的 实体 单位 是 如 何 像 搜 索引 擎 或 大 零售 
商 一 样 ， 能 够 获取 数据 并 用 其 创造 价值 。 
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BIG DATA 


Revolution That 
Wilt Transform How We Live, 
Véork, and Think 


大 数据 时 代 


给 数据 佑 值 


无 论 是 回 公 众 开放 还 是 将 其 锁 在 公司 的 保险 库 中 ， 数 据 的 价值 都 难以 衡 
量 。 来 看 看 2012 年 5 月 18 日 星期 五 发 生 的 事 吧 。 这 一 天 ，28 岁 的 facebook 
创始 人 马克 * 扎 克 伯 格 ( Mark Zuckerberg ) 在 位 于 美国 加 利 福 尼 亚 州 门 洛 帕 
克 市 的 公司 总 部 ， 和 象征 性 地 项 啊 了 纳 斯 达 克 的 开盘 钟 。 这 家 宣称 全 球 约 每 十 
人 中 就 有 一 人 是 其 用 户 的 全 球 最 大 社交 网 络 公 司 ， 开 局 了 其 作为 上 市 公司 的 
征程 。 


和 很 多 新 科技 股 的 第 一 个 上 市 交易 日 一 样 ， 公 司 股价 立即 上 涨 了 11%， 
翻 倍增 长 其 至 已 经 近 在 眼前 。 然 而 就 在 这 一 天 ， 怪 事 发 生 了 。facebook 的 股 
价 开 始 下 跌 ， 期 间 纳 斯 达 殉 的 电脑 因 出 现 技术 故障 曾 和 暂停 交易 ， 但 仍然 于 事 
无 补 ， 情况 甚至 更 加 和 恶化。 感到 异常 的 股票 承销 商 在 摩根 士 丹 利 的 带领 下 ， 
不 得 不 支撑 股价 ， 最 终 以 略 高 于 发 行 价 收 盘 。 


上 市 的 前 一 晚 ， 银 行 对 facebook 的 定价 是 每 股 38 IG, AMME 1 040 亿 
美元 (也 就 是 说 ， 大 约 是 波音 公司 、 通 用 汽车 和 戴尔 电脑 的 市 值 之 和 )。 那 
么 事实 上 facebook 价值 多 少 呢 ? 在 2011 年 供 投资 者 评估 公司 的 审核 账目 中 ， 
facebook 公布 的 资产 为 66 亿美 元 ， 包 括 计 算 机 和 硬件、 专利 和 其 他 实物 价值 。 
那么 facebook 公司 资料 库 中 存放 的 大 量 存储 信息 , 其 账面 价 信 是 多 少 呢 ? F., 
它 根 本 没有 被 计 人 其 中 ， 尽 管 除了 数据 ，facebook 几乎 一 文 不 但。 


这 令 人 匪夷所思 。 加 特 纳 市 场 研究 公司 (Gartner ) 的 副 总 裁 道 格 ' 莱 
尼 (Doug Laney ) 人 研究 了 facebook Æ IPO 前 一 段 时 间 内 的 数据 ， 估 算出 
facebook 在 2009 年 至 2011 年 间 收 集 了 2.1 万 亿 条 “ 获 利信 息 ”， 比 如 用 户 的 
“喜好 ”、 发 布 的 信息 和 评论 等 。 与 其 IPO 估 值 相 比 ， 这 意味 着 每 条 信息 (将 
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05. 价值 
“ 取 之 不 尽 ， 用 之 不 竭 ” 的 数据 创新 


其 视 为 一 个 离散 数据 点 ) 都 有 约 4 美 分 的 价值 。 也 就 是 说 ， 每 一 个 facebook 
用 户 的 价值 约 为 100 美元 ， 因 为 他 们 是 facebook 所 收集 信息 的 提供 者 。 


那么 ， 如 何 解 释 facebook 根据 会 计 准 则 计算 出 的 价值 ( 约 63 亿美 元 ) 
和 最 初 的 市 场 估 值 (1 040 亿美 元 ) 会 产生 如 此 巨大 的 差距 呢 ? 目前 还 没有 很 
好 的 方法 能 解释 这 一 点 。 然 而 人 们 普遍 开始 认为 ， 通 过 查看 公司 “账面 价值 ” 
(大 部 分 是 有 形 资产 的 价值 ) 来 确定 企业 价值 的 方法 ， 已 经 不 能 充分 反映 公司 
的 真正 价值 。 事 实 上 ， 上 账面 价值 与 “市 场 价 值 ”( 即 公司 被 买 断 时 在 股票 市 场 
上 所 获 的 价值 ) 之 间 的 差距 在 这 几 十 年 中 一 直 在 不 断 地 扩大 。 美 国 参议 院 其 
至 在 2000 年 举行 了 关于 将 现行 财务 报告 模式 现代 化 的 听证 会 ， 现 行 的 财务 报 
告 模式 始 于 20 世纪 30 年 代 ， 当 时 信息 类 的 企业 几乎 不 存在 。 这 种 差距 仅 会 
影 啊 公司 的 资产 负债 表 ， 如 果 不 能 正确 评估 企业 的 价值 ， 还 可 能 会 给 企业 带 
来 经 营 风 险 和 市 场 波 动 。 


公司 账面 价值 和 市 场 价值 之 间 的 差额 被 记 为 “无 形 资产 ”。20 世纪 80 年 
代 中 期 ， 无 形 资产 在 美国 上 市 公司 市 值 中 约 占 40%， 而 在 2002 年 ， 这 一 数 
字 已 经 增长 为 73%。 无 形 资产 早期 仅 包含 品牌 、 人 才 和 战略 这 些 应 计 人 正规 
金融 会 计 制 度 的 非 有 形 资产 部 分 。 但 渐渐 地 ， 公 司 所 持 有 和 使 用 的 数据 也 渐 
渐 纳 入 了 无 形 资产 的 范畴 。 


最 终 ， 这 意味 着 目前 还 找 不 到 一 个 有 效 的 方法 来 计算 数据 的 价值 。 
facebook 开盘 当天 ， 其 正规 金融 资产 与 其 未 记录 的 无 形 资 产 之 间 相 差 了 近 
1 000 亿美 元 ， 差 距 几 乎 是 20 È! 太 可 笑 了 。 但 是 ， 随 着 企业 找到 在 资产 负 
债 表 上 记录 数据 资产 价值 的 方法 ， 这 样 的 差距 有 一 天 也 必 将 消除 。 


人 们 正在 萌 着 这 个 方向 前 进 。 在 美国 最 大 的 无 线 运营 商 之 一 工作 的 一 位 
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A Revaiuiion That 
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在 正式 的 会 计 条 球 中 将 其 作为 企业 的 资产 。 但 是 , 一 旦 公司 的 律师 得 知 此 事 ， 
便 会 加 以 阻止 。 因 为 把 数据 计 入 账面 价值 可 能 会 使 该 公司 承担 法 律 责 任 ， 律 
师 们 并 不 认为 这 是 一 个 好 主意 。 


同时 ， 投 资 者 也 开始 注意 到 数据 的 选择 价值 。 拥 有 数据 或 能 够 轻松 收 
集 数 据 的 公司 ， 其 股价 会 上 涨 ; MAAR BWA a, MARA aS HCO 
的 市 值 缩水 。 因 为 这 种 状况 ， 数 据 并 不 要 求 其 价值 正式 显示 在 资产 负债 表 
中 。 尽 管 做 起 来 有 困难 ， 市 场 和 投资 者 还 是 会 给 这 些 无 形 资 产 估价 ， 所 以 
facebook 的 股价 在 最 初 的 几 个 月 中 一 直播 摆 不 定 。 但 随 着 会 计 窘 境 和 责任 问 
题 得 到 缓解 ， 几 乎 可 以 肯定 数据 的 价值 将 显示 在 企业 的 资产 负债 表 上 ， 成 为 
一 个 新 的 资产 类 别 。 


那么 ， 如 何 给 数据 估 值 呢 ? 诚然 ， 计 算 价值 不 再 是 将 其 基本 用 途 简单 地 
加 总 ,但 是 如 果 数 据 的 大 部 分 价值 都 是 潜在 的 ， 需 要 从 未 知 的 二 次 利用 提取 ， 
那么 人 们 目前 尚 不 清楚 应 该 如 何 估算 它 。 这 个 难度 类 似 于 在 20 世纪 70 年 代 
布莱克 -- 舒 尔 斯 期 权 定价 理论 出 现 前 金融 衍生 品 的 定价 。 它 也 类 似 于 为 专利 
估 值 ， 因 为 随 着 各 种 拍卖 、 交 流 、 私 人 销售 、 许 可 和 大 量 诉讼 的 出 现 ， 一 个 
知识 市 场 正 在 逐渐 兴起 。 如 果 不 出 意外 ， 给 数据 的 选择 价值 贴 上 价格 标签 会 
给 金融 部 门 带 来 无 限 商机 。 


一 个 办 法 是 从 数据 持 有 人 在 价值 提取 上 所 采取 的 不 同 策略 入 手 ， 最 常见 
的 一 种 可 能 性 就 是 将 数据 授权 给 第 三 方 。 在 大 数据 时 代 ， 数 据 持 有 人 倾向 于 
从 被 提取 的 数据 价值 中 抽取 一 定 比例 作为 报酬 文 付 ， 而 不 是 敲定 一 个 固定 的 
数额 。 这 有 点 类 似 于 出 版 商 从 书籍 、 音 乐 或 电影 的 获 利 中 抽取 一 定 比 例 ， 作 
为 支付 给 作者 和 表演 者 的 特许 权 使 用 费 ; 也 类 似 于 生物 技术 行业 的 知识 产权 
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05. 价值 
“ 取 之 不 尽 ， 用 之 不 竭 ” 的 数据 创新 


交 甸 ,许可 人 要 求 从 基于 他 们 技术 成 果 的 所 有 后 续 发 明 中 抽取 一 定 比 例 的 技 
术 使 用 费 。 这 样 一 来 ， 各 方 都 会 努力 使 数据 再 利用 的 价值 达到 最 大 。 然 而 ， 
由 于 被 许可 人 可 能 无 法 提取 数据 全 部 的 选择 价值 ， 因 此 数据 持 有 人 可 能 还 会 
同时 回 其 他 方 授 权 使 用 其 数据 ， 两 边 下 注 以 避免 损失 。 因 而 , “数据 滥 交 ”可 
能 会 成 为 一 种 常态 。 


一 些 试图 给 数据 定价 的 市 场 如 雨 后 春 艇 般 出 现 。 2008 年 在 冰岛 成 立 的 
DataMarket 同人 们 提供 其 他 机 构 ( 如 联合 国 、 世 界 银行 和 欧盟 统计 局 等 ) 的 
免费 数据 集 ， 徘 倒卖 商业 供应 商 ( 如 市 场 研 究 公 司 ) 的 数据 来 获 利 。 男 一 家 
新 创办 的 公司 InfoChimps， 其 总 部 设 在 得 克 辽 斯 州 奥 斯 汀 市 ， 希 望 成 为 一 个 

言 息 中 间 人 ， 供 第 三 方 以 免费 或 付费 的 方式 共享 他 们 的 数据 。 就 像 易 趣 给 人 
们 提供 了 一 个 出 售 家 中 搁置 不 用 的 物品 的 平台 一 样 ， 这 些 科技 创业 公司 想 为 
任何 手中 拥有 数据 的 人 提供 一 个 出 售 数据 的 平台 。 例 如 ，Import.io 鼓励 公司 
授权 别人 使 用 目 己 手中 的 数据 ， 不 然 别人 也 可 以 从 网 上 免费 收集 到 这 些 数 据 。 
前 谷歌 的 员工 吉尔 ' 埃 尔 巴 效 (Gil Elbaz) 创办 的 And Factual 收集 数据 ， 然 
后 制 成 数据 库 供 需要 者 使 用 。 


MEE aE HY) Windows Azure DataMarket 登 上 了 历史 舞台 。 它 的 目标 
是 专注 高 质量 的 数据 和 监督 所 提供 的 产品 ， 其 方式 和 苹果 公司 监督 其 应 用 程 
序 商 店 中 的 产品 类 似 。 微 软 假设 ,一 位 销售 主管 在 准备 Excel 表格 时 可 能 还 
需要 做 一 份 公司 内 部 数据 和 来 目 经 济 顾问 的 GDP 增长 预测 的 交 又 表 ， 那么 她 
只 要 点 击 想 要 购买 的 数据 ， 后 者 将 瞬间 出 现在 她 的 电脑 屏幕 上 。 


到 目前 为 止 ,没有 人 知道 信 值 模型 将 发 挥 出 怎样 的 作用 。 但 可 以 肯定 的 
是 ,经 济 正 渐渐 开始 围绕 数据 形成 ， 很 多 新 玩家 可 以 从 中 受益 ， 而 一 些 资深 
玩家 则 可 能 会 找到 令 人 慰 讶 的 新 生机 。 用 硅谷 技术 专家 和 科技 出 版 社员 工 带 
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ty -e KIEF) (Tim O'Reilly) 的 话 来 说 就 是 , “数据 是 一 个 平台 ”， 因 为 数据 是 
新 产品 和 新 商业 模式 的 基石 。 





数据 价值 的 关键 是 看 似 无 限 的 再 利用 ， 即 它 的 选择 价 


A Revolution That 


Will Transform How We Live, 值 。 收集 信息 固然 至 关 重 要 3 但 还 远 远 不 够 5 A 大 部 分 


Work, and Think 


的 数据 价值 在 于 它 的 使 用 ， 而 不 是 占有 本 身 。 
大 数据 洞察 š 


下 一 章 ， 我 们 将 考察 数据 的 实际 运用 和 日 益 崛 起 的 大 数据 行业 。 
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Farecast， 而 两 年 后 谷歌 则 以 7 亿美 元 的 价格 购买 
了 给 Farecast 提供 数据 的 ITA Software 公司 。 如 
今 ， 我 们 正 处 在 大 数据 时 代 的 早期 ， 思 维和 技术 
是 最 有 价值 的 ， 但 是 最 终 大 部 分 的 价值 还 是 必须 


从 数据 本 身 来 挖掘 。 
【 大 数据 先锋 】 
ITA software 与 数据 授权 
VISA&MasterCard 与 商户 推荐 
微软 研究 中 心 与 再 入 院 率 分 析 
埃 和 森 哲 与 无 线 传 感 监测 系统 


FlightCaster 的 大 数据 思维 
谷歌 与 亚马逊 ， 三 者 兼备 
数据 中 间 商 ， 交 通 数据 处 理 公司 Inrix 
The-Numbers.com 与 电影 票房 预测 
苹果 ， 控 出 “潜伏 ”的 数据 价值 
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BIG DATA 


A Revolution That 
Will Transform How We Live, 
York, and Think 


大 数据 时 代 


Decide.com 与 商品 价格 预测 


2011 年 ， 西 雅 图 一 家 叫 Decide.com 的 科技 公司 推出 了 一 个 雄心 勃勃 的 
门户 网 站 ， 它 想 为 无 数 顾客 预测 商品 的 价格 。 不 过 它 最 初 计 划 的 业务 范围 只 
限于 电子 产品 ， 包 括 手机 、 平 板 电视 、 数 码 相 机 等 。 公 司 的 计算 机 会 收集 电 
子 商 务 网 站 上 所 有 电子 产品 的 价格 数据 和 产品 信息 。 


网 络 产品 的 价格 受 一 系列 因素 的 影响 全 天 都 在 不 断 更 新 ， 所 以 公司 收集 
的 价格 数据 必须 是 即时 的 。 这 不 仅 是 一 个 “大 数据 ”问题 ， 还 是 一 个 “大 文 
本 ”问题 ， 因 为 系统 必须 进行 数据 分 析 ， 才 会 知道 一 个 产品 是 不 是 下 染 了 或 
者 是 不 是 有 新 产品 要 发 布 了 ,这些 都 是 用 户 想 知道 的 信息 而 且 都 会 影响 产 品 
价格 。 


经 过 一 年 的 时 间 ，Decide.com 分 析 了 近 400 万 产品 的 超过 250 亿 条 价格 
信息 。 它 发 现 了 一 些 过 去 人 们 无 法 意识 到 的 怪异 现象 ， 比 如 在 新 产品 发 布 的 
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时 候 ， 旧 一 代 的 产品 可 能 会 经 历 一 个 短暂 的 价格 上 浮 。 大 部 分 人 都 习惯 性 地 
认为 旧 产 品 更 便宜 ， 所 以 会 选择 买 旧 产品 ， 其 实 这 取决 于 你 什么 时 候 购 买 ， 
不 然 有 可 能 你 付出 的 金钱 比 购买 新 产品 还 要 多 。 因 为 电子 商务 网 站 都 开始 使 
用 目 动 定价 系统 ， 所 以 Decide.com 能 够 发 现 不 正常 、 不 合理 的 价格 高 峰 ， 然 
后 告知 用 户 何 时 才 是 购买 电子 产品 的 最 佳 时 机 。 


根据 公司 内 部 分 析 显示 ， 它 的 预测 准确 率 可 ARIA 
以 达到 77%， 平 均 可 以 帮助 每 个 顾客 在 购买 -个 BIG DATA | 


1 NB 
口 时 节 省 关 一 -- | Will Transform How We Live, 
r AA RY TJ 100 JLo Work, and Think 


表面 上 ，Decide.com 就 像 众 多 前 途 光 明 的 科技 公司 一 样 ， 在 创新 地 使 用 
数据 、 赚 取 利润 。 但 是 事实 上 ， 让 Decide.com 异军突起 的 不 是 数据 ， 不 是 技 
术 ， 而 是 思维 观念 。Decide.com 使 用 的 数据 都 来 目 电子 商务 网 站 和 互联 网 ， 
这 是 公开 的 数据 ， 每 个 人 都 可 以 利用 。 技 术 上 ， 公 司 也 并 没有 无 可 符 代 的 技 
术 人 才 。 所 以 ， 虽 然 数据 和 技术 也 是 不 可 或 缺 的 ， 但 是 真正 使 得 该 公司 取得 
成 功 的 是 他 们 拥有 大 数据 的 思维 观念 。 它 先 人 一 步 地 挖掘 出 了 数据 的 潜在 价 
值 。Decide.com 和 Farecast 之 间 似 乎 有 着 相通 性 ， 如 果 你 知道 它们 都 是 华 盛 
顿 大 学 奥 伦 ' 埃 齐 奥 尼 先 生 的 杰作 ， 你 就 知道 原因 了 。 


上 一 章 中 ,我 们 讨论 了 怎样 通过 创新 用 途 ， 挖 掘 出 数据 新 的 价值 ， 主 要 
是 指 我 们 所 说 的 选择 价值 。 如 今 ， 我们 的 重点 转移 到 了 使 用 数据 的 公司 和 它 
们 如 何 融 入 大 数据 价值 链 中 。 我 们 将 讨论 这 对 公司 、 个 人 的 事业 和 生活 意味 
着 什么 。 
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大 数据 价值 链 的 3 大 构成 


根据 所 提供 价值 的 不 同 来 源 ， 分 别 出 现 了 三 种 大 数据 公司 。 这 三 种 来 源 
feta: 数据 本 号 、 技 能 与 思维 。 


第 一 种 是 基于 数据 本 身 的 公司 。 这 些 公司 拥有 大 量 数据 或 者 至 少 可 以 收 
集 到 大 量 数据 ， 却 不 一 定 有 从 数据 中 提取 价值 或 者 用 数据 催生 创新 思想 的 技 
能 。 最 好 的 例子 就 是 twitter， 它 拥有 海量 数据 这 一 点 是 上 毫 无 疑问 的 ， 但 是 它 
的 数据 都 通过 两 个 独立 的 公司 授权 给 别人 使 用 。 


第 二 种 是 基于 技能 的 公司 。 它 们 通常 是 咨询 公司 、 技 术 供应 商 或 者 分 析 
公司 。 它 们 车 握 了 专业 技能 但 并 不 一 定 拥有 数据 或 提出 数据 创新 性 用 途 的 才 
能 。 比 方 说 ， 沃 尔 玛 和 Pop-Tarts 这 两 个 零售 商 就 是 借助 天 蹇 公司 (Teradata ) 
的 分 析 来 获得 营销 点 于 ， 天 容 就 是 一 家 大 数据 分 析 公 司 。 


第 三 种 是 基于 思维 的 公司 。 皮 特 ' 华 登 ( Pete Warden )，Jetpac 的 联合 创 
始 人 ， 就 是 通过 想法 获得 价值 的 一 个 例子 。Jetpac 通过 用 户 分 享 到 网 上 的 旅 
行 照片 来 为 人 们 推荐 下 次 旅行 的 目的 地 。 对 于 某 些 公司 来 说 ， 数 据 和 技能 并 
不 是 成 功 的 关键 。 让 这 些 公司 脱颖而出 的 是 其 创始 人 和 员工 的 创新 思维 ， 他 
们 有 怎样 挖掘 数据 的 新 价值 的 独特 想法 。 


PIC MATA 到 目前 为 止 ， 前 两 种 因素 一 直 备 受 关注 ， 因 为 在 现今 
revolution | 世界 ,技能 依然 欠缺 ， 而 数据 则 非常 之 多 。 近 年 来 ， 一 种 


PAPER “Po nae go pad a ie po n i Aic 
Will Transiorm How We Live, 





Work, and Think 新 的 职业 出 现 了 ， 那 就 是 “数据 科学 家 ”。 数 据 科 学 家 是 统 
大 数据 洞察 计 学 家 、 软 件 程序 员 、 图 形 设 计 师 、 作 家 的 结合 体 。 与 通 
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过 显微镜 发 现 事物 不 同 ， 数 据 科 学 家 通过 探寻 数据 库 来 得 
到 新 的 发 现 。 全 球 知 名 咨询 管理 公司 麦肯锡 ， 就 曾 极端 地 
预测 数据 科学 家 是 当今 和 未 来 稀缺 的 资源 。 如 今 的 数据 科 
学 家 们 也 喜欢 用 这 个 预测 来 提升 自己 的 地 位 和 工资 水 平 。 


同时 ， 合 歌 的 首席 经 济 学 家 哈 尔 : 范 里 安 (Hal Varian) 认为 统计 学 家 是 
世界 上 最 棒 的 职业 ， 他 的 这 种 说 法 非常 著名 。“ 如 果 你 想 成 功 ， 你 不 应 该 成 为 
一 个 普通 的 、 可 被 随意 替代 的 人 ， 你 应 该 成 为 稀缺 的 、 不 可 替代 的 那 类 人 ,，” 
他 还 说 ,“ 数 据 非常 之 多 而 且 具 有 战略 重要 性 ， 但 是 真正 缺少 的 是 从 数据 中 提 
取 价值 的 能 力 。 这 也 就 是 为 什么 统计 学 家 、 数 据 库 管理 者 和 掌握 机 器 理论 的 
人 和 是 真正 了 不 起 的 人 。 


但 是 ， 过 分 强调 技术 和 技能 而 忽视 数据 本 身 的 重要 性 也 是 不 可 取 的 。 随 
春 计算 机 行业 的 发 展 ， 人 力 技 术 的 落后 会 被 慢 慢 地 克服 ， 而 范 里 安 所 赞赏 
的 技能 将 会 变 成 十 分 普通 的 事情 。 认 为 当今 世界 数据 非常 之 多 ， 所 以 收集 数 
据 很 简单 而 且 数据 价值 并 不 高 的 想法 是 绝对 错误 的 一 一 数据 才 是 最 核心 的 部 
分 。 要 知道 原因 ， 就 必须 考虑 到 大 数据 价值 链 的 各 个 部 分 ， 以 及 它们 会 如 何 
发 展 变化 。 


大 数据 掌控 公司 


大 数据 最 值钱 的 部 分 就 是 它 自身 ， 所 以 最 先 考 虑 数据 拥有 者 才 是 明智 的 。 
他 们 可 能 不 是 第 一 手 收集 数据 的 人 ,但 是 他 们 能 接触 到 数据 、 有 权 使 用 数据 
或 者 将 数据 授权 给 渴望 挖 气 数 据 价值 的 人 。 
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大 数据 时 代 


ITA Software 与 数据 授权 


四 大 机 票 预订 系统 之 一 的 ITA Software “就 为 : 
Farecast 提供 预测 机 票 价格 所 需要 的 数据 ， 而 它 自身 : 
并 不 进行 这 种 数据 分 析 。 为 什么 呢 ? 因为 商业 定位 
不 一 样 ， 毕 竞 出 售 机票 已 经 很 不 容易 了 ， 所 以 ITA | 
并 不 考虑 这 些 数据 的 额外 利用 。 因 此 ， 两 家 公司 的 ，: 
KARETAHRA CO 


核心 竞争 力也 会 不 同 。 当 然 ， 
a 创新 想法 ， 如 果 它 能 像 Farecast 一 样 利 用 数据 ， 

么 就 需要 问 奥 伦 ' 挨 齐 奥 尼 先 生 购 买 专利 使 用 

当然 ， 它 在 大 数据 价值 链 上 所 处 的 位 置 也 决定 
了 它 不 会 这 样 去 使 用 数据 。"ITA 会 尽量 避免 用 任何 
数据 来 暴露 航空 公司 的 利润 问题 。 ITA 的 创始 人 之 
一 也 是 前 技术 总 监 卡尔 * 德 马 肯 (Carl de Marcken ) 
如 是 说 。 他 还 说 ，"ITA 能 够 得 到 这 些 数 据 而 且 必 须 
拥有 这 些 数 据 ， 因 为 它们 是 ITA 在 提供 服务 时 必须 
具备 的 。 但 是 ，ITA 有 意 与 这 些 数据 保持 一 定 的 距 
离 ， 所 以 自己 不 使 用 而 是 授权 别人 使 用 。 结 果 不 难 
ful, ITA RA Farecast 那里 分 得 了 小 小 的 一 杯 凌 。 
Farecast 得 到 了 数据 大 部 分 的 间接 价值 ， 它 把 其 中 一 
部 分 价值 以 更 便宜 的 机 票 的 形式 转移 给 了 它 的 用 户 ， 
而 把 这 种 价值 市 来 的 利润 分 给 了 它 的 股东 以 及 员工 。 
Farecast 通过 广告 、 佣 金 ， 当 然 最 后 通过 出 售 公司 本 
喘 获 取 利润 。 


QD ”其余 三 个 是 Amadeus, Travelport and Sabre。 一 一 作者 注 
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有 的 公司 精明 地 把 目 己 放 在 了 这 个 信息 链 的 核心 ， 这 样 它们 就 能 扩大 规 
模 、 挖 掘 数 据 的 价值 。 信 用 卡 行业 的 情况 就 符合 这 一 点 。 多 年 来 ， 防 范 信 用 
诈骗 的 高 成 本 使 得 许多 中 小 银行 都 不 愿意 发 行 自己 的 信用 卡 ; 而 是 由 大 型 金 
融 机 构 发 行 ， 因 为 只 有 它们 才能 大 规模 地 投入 人 力 物 力 发 展 防范 技术 。 美 国 
第 一 资本 银行 和 美国 银行 这 样 的 大 型 金融 机 构 就 承担 了 这 个 工作 。 但 是 现在 
小 银行 后 悔 了 ， 因 为 没有 目 己 发 行 的 信用 卡 ， 它 们 就 无 从 得 知客 户 的 消费 模 
式 ， 从 而 不 能 为 客户 提供 定制 服务 。 


二 证 天 


VISA & MasterCard 与 商户 推荐 | is 
相对 地 ， 像 VISA 和 MasterCard 这 样 的 信用 卡 发 ，: 
锋 


yuy pue WOM i 
wy; uoa y ! 


‘BAYT BAA MOM UUOJSUBL, RAA | 


行商 和 其 他 大 银行 就 站 在 了 信息 价值 链 最 好 的 位 置 ， 
上 。 通 过 为 小 银行 和 商家 提供 服务 ， 它 们 能 够 从 自己 。 
的 服务 网 获取 更 多 的 交易 信息 和 顾客 的 消费 信息 。 它 
们 的 商业 模式 从 单纯 的 处 理 支付 行为 转变 成 了 收集 数 。 : 
性 作 本 OCC” 
就 像 ITA 一 样 ，MasterCard 也 可 以 把 这 些 数 据 
授权 给 第 三 方 使 用 ， 但 是 它 更 倾向 于 自己 分 析 、 控 
掘 数据 的 价值 。 一 个 称 为 MasterCard Advisors 的 部 
门 收集 和 分 析 了 来 自 210 个 国家 的 15 亿 信用 卡 用 户 
的 650 亿 条 交易 记录 ， 用 来 预测 商业 发 展 和 客户 的 
消费 趋势 。 然 后 ， 它 把 这 些 分 析 结果 卖 给 其 他 公司 。 
它 发 现 ， 如 果 一 个 人 在 下 午 四 点 左右 给 汽车 加 油 的 
活 ， 他 很 可 能 在 接 下 来 的 一 个 小 时 内 要 去 购物 或 者 
O 去 餐馆 吃饭 ， 而 这 一 个 小 时 的 花费 大 概 在 35~50 美 
。 元 之 间 。 商 家 可 能 正 需要 这 样 的 信息 ， 因 为 这 样 它 
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处 于 这 个 数据 链 的 中 心 ，MasterCard 占据 了 收集 数据 和 挖掘 数据 价值 的 
黄金 位 置 。 我 们 可 以 想象 ， 未 来 的 信用 卡 公司 不 会 再 对 交易 收取 佣金 ， 而 是 
免费 提供 支付 服务 。 作 为 回报 ， 它 们 会 获得 更 多 的 数据 ， 而 对 这 些 数据 进行 
复杂 的 分 析 之 后 ， 它 们 又 可 以 卖 掉 分 析 结 果 以 取得 利润 。 


大 数据 技术 公司 


第 二 种 类 型 就 是 拥有 技术 和 专业 技能 的 公司 。MasterCard 选择 了 目 己 分 
析 ， 有 的 公司 选择 在 两 个 类 型 之 间 游 移 ， 但 是 还 有 一 部 分 公司 会 选择 发 展 专 
业 技能 。 比 方 说 ， 埃 森 哲 咨询 公司 就 与 各 行 各 业 的 公司 合作 应 用 高 级 无 线 感 
应 技术 来 收集 数据 ， 然 后 对 这 些 数据 进行 分 析 。 


2005 年 ， 在 埃 森 哲 与 密苏里 州 圣 路 易 斯 市 共 “| 大 数据 的 力量 。 
同 合作 的 一 个 实验 项 目 中 ， 它 给 20MARERR RIG DATA \ 
了 无 线 传感器 来 监测 车 辆 引擎 的 工作 情况 。 这 些 Apea oo 
数据 被 用 来 预测 公交 车 什么 时 候 会 抛锚 以 及 维修 ””“ 
的 最 佳 时 机 。 研 究 促使 车 辆 更 换 零件 的 周期 从 30 

万 或 者 40 万 公里 变 成 了 50 万 公里 ， 仅 这 一 项 研 

究 结果 就 帮助 该 城市 节省 了 60 万 美元 。 在 这 里 ， 

获 益 的 不 是 埃 森 哲 ， 而 是 圣路易斯 市 。 






在 医学 数据 领域 ,， 我们 可 以 看 到 一 个 关于 技术 公司 如 何 能 提供 有 效 服务 
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的 很 好 的 例子 。 位 于 华盛顿 州 的 华盛顿 中 心 医院 与 微软 研究 中 心 合 作 分 析 了 
多 年 来 的 匿名 医疗 记录 , 涉及 患者 人 口 统计 资料 、 检 查 、 诊 断 、 治 疗 资料 ,等 
等 。 这 项 研究 是 为 了 减少 感染 率 和 再 入 院 率 ， 因 为 这 两 项 所 耗费 的 费用 是 医 
疗 卫 生 领 域 最 大 的 一 部 分 ， 所 以 任何 可 以 减少 这 小 比例 的 方法 都 意味 着 节省 
巨大 的 开支 。 


这 项 研究 发 现 了 很 多 尺 人 的 相关 关系 : 在 一 系列 情况 下 ， 一 个 出 院 了 的 
病人 会 在 一 个 月 之 内 再 次 入 院 。 有 一 些 情况 是 众所周知 但 还 没有 找到 好 的 解 
决 办 法 的 ， 比 方 说 ,一 个 患 充 血性 心力 孜 竟 的 病人 就 很 有 可 能 再 次 入 院 ， 因 
为 这 是 非常 难 医治 的 病 。 但 是 研究 也 发 现 了 一 个 出 人 意料 的 重要 因素 ， 那 就 
是 病人 的 心理 状况 。 如 果 对 病人 最 初 的 诊断 中 有 类 似 “ 压 抑 ” 这 种 上 暗示 心理 
疾 炳 的 词 的 话 ， 病 人 再 度 入 院 的 可 能 性 大 很 多 。 


虽然 这 种 相关 关系 和 因 采 关系 无 天， 但 是 这 表明 ， 如 采 病 人 出 院 之 后 的 
医学 干预 是 以 解决 病人 的 心理 问题 为 重心 ， 可 能 会 更 有 利于 他 们 的 吴 体 健康 。 
这 样 就 可 以 提供 更 好 的 健康 服务 ， 降 低 再 入 院 率 和 医疗 成 本 。 这 个 相关 关系 
是 机 副 从 一 大 群 数据 中 入 选 出 来 的 ， 也 是 人 类 可 能 永远 都 发 现 不 了 的 。 人 钴 软 
不 控制 数据 ， 这 些 数据 只 属于 医院 ; 微软 没有 出 彩 的 想法 ， 那 并 不 是 这 里 需 
要 的 东西 ， 相 反 ， 微 软 只 是 提供 了 分 析 工 具 ， 也 就 是 Amaga 系统 来 发 现 帮 
助 有 价值 的 信息 。 


大 数据 搁 术 公司 在 数据 价值 链 中 充当 了 非常 重要 的 角色 。 借 twitter, 
LinkedIn, FourSquare 这 一 类 公司 都 有 着 海量 未 处 理 的 数据 ; 像 Ford 和 BP 
这 样 的 老牌 公司 一 样 ， 因 为 它们 的 公司 运营 和 产品 都 数据 化 了 。 作 为 数据 拥 
有 者 ， 它 们 依赖 专业 技术 来 挖掘 数据 的 价值 。 但 是 ， 虽然 受到 了 高 度 的 赞扬 ， 
而 且 同 时 拥有 “数据 武士 ”这 样 时 时 的 名 字 ， 但 技术 专家 并 没有 想象 中 那么 
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WR, CEKA Pade, AA TERRE, Wei a 
手 让 给 大 数据 拥有 者 。 


大 数据 思维 公司 和 个 人 


第 三 种 类 型 是 有 着 大 数据 思维 的 公司 和 个 人 。 他 们 的 优势 在 于 ， 他 们 能 
和 多 人 一 步 发 现 机 遇 ， 尽 管 本 身 并 不 拥有 数据 也 不 具备 专业 技能 。 事 实 上 ， 很 
可 能 正 因为 他 们 是 外 行人 ,不 具备 这 些 特点 ， 他 们 的 思维 才能 不 受 限 制 。 他 
们 思考 的 只 有 可 能 ， 而 不 考虑 所 谓 的 可 行 。 


FlightCaster 的 大 数据 思维 | 3 
布 拉 德 福 德 ' 克 罗斯 ( Bradford Cross) 用 拟人 : | 
。 手法 解释 了 什么 是 有 大 数据 思维 。2009 年 8 月 , 也 : 
就 是 在 他 20 多 岁 的 时 候 ， 他 和 四 个 朋友 一 起 创办 了 
FlightCaster.com。 和 FlyOnTime.us 类 似 ， 这 个 网 站 : : 
致力 于 预测 航班 是 否 会 晚点 。 它 主要 基于 分 析 过 去 
十 年 里 每 个 航班 的 情况 ， 然 后 将 其 与 过 去 和 现实 的 。: 
天 气 情况 进行 匹配 。 
有 趣 的 是 ， 数 据 拥 有 者 就 做 不 到 这 样 的 事情 。 
因为 数据 拥有 者 没有 这 样 使 用 数据 的 动机 和 强制 要 
求 。 事 实 上 ， 如 果 美 国运 输 统 计 局 、 美 国联 邦 航空 
局 和 美国 天 气 服务 这 些 数据 拥有 者 敢于 预测 航班 晚 
点 来 作为 商业 用 途 的 话 ， 国 会 可 能 就 会 举办 听证 会 
并 否决 这 个 提议 。 所 以 使 用 数据 的 任务 就 落 到 了 一 
群 不 霸 的 数学 才子 的 身上 。 同 样 ， 航 空 公司 不 可 以 
这 么 做 ， 也 不 会 这 么 做 ， 因 为 这 些 数据 所 表达 的 信 
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: 息 越 隐蔽 对 它们 就 越 有 利 。FlightCaster 的 预测 是 如 | 
此 的 准确 ， 就 连 航空 公司 的 职员 也 开始 使 用 它 了 。 

| 但 是 需要 注意 的 一 点 就 是 ， 虽 然 航空 公司 是 信息 的 

。 源头 ， 但 是 不 到 最 后 一 秒 它 是 不 会 公布 航班 晚点 的 ， 

: ”所 以 它 的 信息 是 不 及 时 的 。 
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因为 有 着 大 数据 思维 ， 克 罗斯 和 他 的 FlightCaster 是 第 一 个 行动 起 来 
的 ， 但 也 没 比 别 人 快 多 少 。 所 谓 大 数据 思维 ， 是 指 一 种 意识 ， 认 为 公开 的 
数据 一 旦 处 理 得 当 就 能 为 干 百 万 人 急需 解决 的 问题 提供 答案 。2009 年 8 A, 
FlightCaster 公开 发 布 了 。 同 一 个 月 ，FlyOnTime.us 的 计算 机 专家 们 也 开始 
搜刮 公开 的 数据 建立 他 们 的 网 站 。 最 终 ，FlightCaster 的 优势 慢 慢 地 减弱 了 。 
2011 年 1 月 ， 克 罗斯 和 他 的 同伴 把 网 站 卖 给 了 Next Jump， 这 是 一 个 使 用 大 
数据 技术 进行 企业 折扣 管理 的 公司 。 





之 后 ， 克 罗斯 把 他 的 目光 转向 了 另外 一 个 夕阳 行业 
发 现 ， 这 里 是 一 个 创新 型 的 外 行人 可 以 大 有 作为 的 宝地 。 他 的 科技 创新 公司 
Prismatic 收集 网 上 资源 并 排序 ， 这 种 排序 建立 在 文本 分 析 、 用 户 喜 好 、 社 交 
网 络 普及 和 大 数据 分 析 的 基础 之 上 。 重 要 的 是 ， 这 个 系统 并 不 介意 这 是 一 个 
育 少年 的 博客 、 一 个 企业 网 站 还 是 《华盛顿 邮 报 》 上 的 一 篇 报道 ， 只 要 它 的 
内 容 相关 并 且 很 受 欢 迎 就 能 排 在 很 靠 前 的 位 置 。 而 关于 是 否 受 欢 迎 ， 是 通过 
它 的 氮 击 率 和 分 享 次 数 来 体现 的 。 


作为 一 项 服务 ，Prismatic 关注 的 是 年 轻 一 代 与 媒体 进行 交流 的 新 方法 ， 
言 县 的 来 源 并 不 重要 。 这 也 是 给 那些 自视 过 高 的 主流 媒体 提 了 一 个 醒 : 公众 
的 力量 要 远 远 超过 它们 ， 而 西 效 音 履 的 记者 们 也 需要 与 一 群 不 修 边 幅 的 博 主 
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新 闻 行 业 ; 他 


A Revolution That 
it Transiorm How We Live, 
VYiork, and Think 


大 数据 时 代 


进行 竞争 。 也 许 最 令 人 无 法 想象 的 是 ，Prismatic 居然 是 从 新 闻 领 域内 部 诞 
生出 来 的 ， 虽然 它 确实 收集 了 大 量 的 数据 。 美 国 国家 记者 俱乐部 (National 
Press Club ) 的 常客 从 来 没有 想 过 要 再 利用 网 上 的 媒体 资源 ， 阿 莹 克 、 纽 约 和 
印度 班加罗尔 的 分 析 专 家 们 也 没有 想 过 要 用 这 种 方法 来 使 用 数据 。 殉 罗斯 顶 
痢 一 头 蓬 松 的 涉 发 ， 说 话 否 否 吐 吐 ， 可 就 是 这 样 一 个 不 起 眼 的 外 行人 ， 想 到 
了 也 做 到 了 ， 他 使 用 这 些 数据 来 告诉 世界 什么 是 比 《 纽 约 时 报 》 更 有 用 的 信 
BOR UR 


大 数据 思维 这 个 概念 以 及 一 个 拥有 创新 思维 的 人 的 地 位 ， 与 20 世纪 90 
年 代 电 子 商 务 初期 出 现 的 情况 是 不 一 样 的。 电子 商务 先驱 者 们 的 思想 没有 
被 传统 行业 的 固有 思维 和 制度 缺陷 所 限制 ， 因 此 ， 在 对 冲 基金 工作 的 金融 
工程 师 杰 夫 ' 贝 索 斯 创建 了 网 上 书店 亚马逊 而 不 是 巴 详 书 店 ; 软件 开发 工程 
师 皮 埃 尔 : 奥 米 迪 亚 (Pierre Omidyar ) 开发 了 一 个 拍卖 网 站 而 不 是 办 宣 比 
(Sotheby's )。 如 今 ， 拥 有 大 数据 思维 的 领导 者 通常 目 己 并 不 拥有 数据 资源 。 
但 就 是 因为 这 样 ， 他 们 不 会 受 既 得 利益 和 金钱 欲望 这 样 的 因素 影 啊 而 阻碍 目 
己 的 想法 实践 。 


就 像 我 们 看 到 的 ， 也 有 公司 集合 了 大 数据 的 多 数 特点 。 埃 齐 奥 尼 和 殉 罗 
斯 不 仅 比 别人 早 一 步 有 了 这 些 决 胜 的 思想 ， 他 们 也 有 技术 优势。Teradata 和 
埃 和 森 哲 的 员工 不 仅 打卡 上 班 ， 还 时 不 时 会 有 好 的 点 了 于。 这 些 原 型 都 有 助 于 我 
们 认识 不 同 公 司 所 承担 的 角色 。 我 们 在 上 一 章节 中 提 到 的 手机 公司 营 握 了 海 
量 的 数据 却 不 知道 该 如 何 使 用 ， 然 而 ， 它 们 可 以 把 这 些 数 据 授 权 给 有 能 力 控 
掘 出 数据 价值 的 人 。 同 样 地 ，twitter 一 早 就 决定 把 它 所 掌握 的 海量 数据 授权 
给 了 两 家 公司 。 如 今 的 大 数据 先驱 者 们 通常 都 有 厦 交叉 学 科 育 景 ， 他 们 会 将 
这 些 知识 与 目 己 所 擎 握 的 数据 技术 相 结 合 ， 应 用 于 广泛 的 领域 之 中 。 新 一 代 


168 


06. 角色 定位 
数据 、 技 术 与 思维 的 三 足 易 立 


的 天 使 投资 人 和 企业 家 正在 诞生 ， 他 们 主要 是 来 目 谷 歌 已 经 离职 的 员工 和 所 
谓 的 “Paypal 黑手 党 ”“。 他 们 与 少量 的 计算 机 科学 家 一 起 充当 了 当今 许多 
数据 科技 公司 的 最 大 靠山 。 这 种 将 企业 和 个 人 置 于 大 数据 价值 链 中 的 创新 性 
想法 促使 我 们 重新 审视 公司 的 存在 价值 。 比 方 说 ，Salesforce 不 再 是 一 个 单纯 
为 企业 提供 应 用 软件 的 平台 ， 它 还 能 挖掘 这 些 软件 所 收集 到 的 数据 并 且 释 放 
出 它们 的 巨大 价值 。 


谷歌 与 亚马逊 ， 三 者 兼备 x, eB 

有 些 比较 幸运 的 公司 就 有 计划 地 同时 涉足 了 这 三 。; 数 :了 

个 方面 。 一 个 很 典型 的 例子 就 是 谷歌 ， 它 收集 搜索 时 1 TE 
拼写 错误 的 数据 ， 它 也 有 利用 这 些 数据 创建 一 个 世界 锋 三 


BAD] Sf, 


上 最 好 的 拼写 检查 程序 的 好 点 子 ， 同 时 它 自 身 也 具备 : 
挖掘 数据 价值 的 技术 。 谷 歌 在 大 数据 价值 链 中 同时 充 ; : 
Rep 和 se RE 
歌 带 来 了 巨大 的 利润 。 除 此 之 外 ， 谷 歌 还 通过 应 用 程 。 
序 接口 ( APIs) 把 它 掌握 的 部 分 数据 授权 别人 使 用 ， 
这 样 数据 就 能 重复 使 用 还 可 以 产生 附加 价值 。 谷 歌 地 
图 就 是 这 样 ， 它 免费 给 互联 网 上 的 任何 人 提供 服务 
( 尽管 访问 量 很 大 的 网 站 是 需要 付费 的 )。 
同样 ， 亚 马 逊 也 是 数据 、 技 能 、 思 维 三 者 兼备 。 
事实 上 ， 该 公司 的 商业 模式 就 是 按 这 个 顺序 确定 的 ， 
虽然 这 与 常规 不 符 。 刚 开始 的 时 候 ， 关 于 它 备 受 先 
誉 的 推荐 系统 ， 亚 马 逊 只 有 一 个 初步 的 想法 。 它 在 





好 等 条 直人 


D WE Paypal 公司 的 前 领导 人 皮特 泰 尔 (Peter Thiel )、 雷 德 . 霍 夫 曼 (Reid Hoffman ) 以 
-及 马克 斯 . 莱 文 奇 恩 (Max Levchin )。 一 一 作者 注 
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其 1997 年 的 股票 市 场 简 介 中 首先 描述 了 “协同 过 
滤 ”"， 这 发 生 在 它 找 到 实施 这 个 想法 的 方法 和 配备 足 
够 的 数据 资源 之 前 。 

虽然 谷歌 和 亚马逊 都 是 三 者 兼 具 ， 但 是 它们 的 
商业 策略 并 不 相同 。 合 歌 在 刚 开始 收集 数据 的 时 候 ， 
就 已 经 市 有 多 次 使 用 数据 的 想法 。 比 方 说 ， 它 的 街 
景 采集 车 收集 全 球 定位 系统 数据 不 光 是 为 了 创建 谷 
歌 地 图 ， 也 是 为 了 制 成 全 自动 汽车 。 相 对 地 ， 亚 马 
逊 更 关注 的 是 数据 的 基本 用 途 而 且 也 只 把 数据 的 二 
级 用 途 作为 额外 收益 。 比 方 说 ， 它 的 推荐 系统 把 用 
户 浏览 过 的 网 页 数据 作为 线索 ， 但 是 它 并 没有 利用 
它 预 测 经 济 状 况 和 流感 爆发 。 

亚马逊 的 Kindle 电子 书 阅 读 器 记录 了 一 些 读者 
反复 标注 和 强调 过 的 内 容 ， 但 是 亚马逊 并 没有 把 这 
些 数据 信息 卖 给 作者 或 是 出 版 社 。 书 商 肯 定 很 乐意 
知 追 哪些 段落 是 受 读者 喜欢 的 ， 因 为 这 样 他 们 就 能 
提高 销量 ; 作者 应 该 也 想 知道 书籍 的 哪些 地 方 不 受 
读者 欢迎 ， 这 样 他 们 就 能 根据 读者 的 喜好 提高 作品 
质量 ; 出 版 社 则 可 以 通过 这 些 数据 知道 哪些 主题 的 
书籍 更 有 可 能 成 为 畅销 书 。 但 是 ， 亚 马 逊 把 这 些 数 
据 都 雪藏 了 。 


‘ 
六 生生 下 关怀 


一 日 得 以 有 效 利用 ， 大 数据 就 可 以 变革 公司 的 赢利 模式 和 传统 交流 方式 。 
我 们 举 一 个 典型 的 例子 ， 通 过 得 到 竞争 对 手 所 没有 的 行业 信息 ， 欧 洲 一 家 汽 
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车 制造 商 重 新 定位 了 与 它 的 一 个 零件 供应 商 的 关系 。 © 


如 今 的 汽车 闭 满 了 必 片 、 传 感 副 和 各 种 软件 ， 一 经 启动， 它们 就 会 及 时 
把 汽车 状况 信息 发 送 到 制造 商 的 电脑 上 。 一 个 典型 的 中 档 车 大 概 有 60 个 微型 
处 理 船 ， 车 上 电子 仪 吾 的 价值 占 了 竹 辆 总 价值 的 三 分 之 一 。 丰 载 电 子 仪 硕 之 
多 使 汽车 成 了 “ 殊 浮 的 观 景 合 "， 这 本 是 莫 里 用 来 形容 船 般 的 。 而 这 些 设备 监 
控 到 的 汽车 零 部 件 的 工作 状况 ， 能 够 在 整合 之 后 用 来 提高 汽车 的 质量 ， 因 此 ， 
能 够 掌握 这 些 数据 的 公司 拥有 非常 大 的 葛 争 优势 。 


汽车 制造 商 通过 与 行业 外 的 数据 分 析 公 司 合作 发 现 ， 德 国 供 货 商 供应 的 
油箱 的 蒸汽 泄漏 检测 传 感 絮 存在 一 些 问 题 ， 它 会 针对 每 个 好 的 油箱 错误 报警 
达 16 次 。 汽 车 制造 商 可 以 把 这 些 信息 反馈 给 供 贫 商 要 求 修 理 。 在 商业 环境 更 
加 和 谐 的 情况 下 ， 也 许 会 发 生 上 面 说 到 的 情况 ， 但 是 既然 汽车 制造 商 已 经 在 
这 个 项 目 上 花费 了 一 大 笔 钱 ， 它 就 会 利用 这 个 数据 挽回 一 点 点 损失 。 


所 以 ， 汽 车 制造 商 开始 考虑 到 底 应 该 怎么 做 : 卖 掉 这 个 数据 ? 它 值 多 少 
es ie 了 任 呢 ?如 果 是 我 目 己 在 操作 过 程 中 出 现 了 失误 呢 ? 
它 知道 ， 一 旦 公布 了 信息 ， 和 自己 用 同样 零件 的 竞争 对 手 也 会 改进 他 们 
的 车 。 更 明智 的 选择 应 该 是 ， 这 些 数据 只 能 让 自己 受益 ， 自 己 的 汽车 能 够 有 
所 改进 。 最 终 ， 汽 车 制造 商 想到 了 一 个 好 主意 。 它 通过 改进 软件 而 改进 了 这 
个 零件 ， 而 且 为 这 次 改进 申请 了 专利 。 然 后 ， 它 把 这 项 专利 卖 给 了 供 货 
价格 是 很 长 一 段 时 间 内 进行 数据 分 析 的 成 本 的 总 额 。 


DQ 因为 这 是 来 自 一 个 分 析 师 在 处 理 大 量 数据 的 基础 上 得 到 的 结果 ， 而 这 个 结果 并 没有 公开 ， 
所 以 我 们 在 此 不 方便 披露 该 公司 的 名 字 。 一 一 作者 注 
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大 数据 时 代 


全 新 的 数据 中 间 商 


谁 在 这 个 大 数据 价值 链 中 获 益 最 大 呢 ?” 现 在 看 来 ， 应 该 是 那些 拥有 大 数 
据 思 维 或 者 说 创新 性 思维 的 人 。 就 像 我 们 所 见 的 一 样 ， 自 从 信息 时 代 以 来 ， 
这 些 第 一 个 吃 旷 扔 的 人 都 发 了 大 财 。 但 是 ， 这 种 先决 优势 并 不 能 维持 很 长 的 
时 间 。 随 着 大 数据 时 代 的 推进 ， 别 人 也 会 吸收 这 种 思维 ,然后 那些 先驱 者 的 
优势 就 会 逐渐 减弱 。 

那么 ， 核 心 价值 会 不 会 在 技术 上 ? 毕竟 ， 一 个 金 矿 的 价值 也 只 有 在 它 被 
挖掘 出 来 之 后 才 有 意义 。 但 是 ， 计 算 机 的 历史 却 否定 了 这 一 想法 。 如 今 ,在 
数据 库 管 理 、 数 据 科学 、 数 据 分 析 、 机 器 学 习 算 法 等 类 似 行业 的 技能 确实 很 
走俏。 但 是 ， 随 着 大 数据 成 为 人 们 生活 的 一 部 分 ， 而 大 数据 工具 变 得 更 容易 
和 更 方便 使 用 ， 越 来 越 多 的 人 会 掌握 这 些 技能 ， 所 以 这 些 技能 的 价值 就 会 相 
对 减少 ， 就 像 20 世纪 60~80 年 代 之 间 计 算 机 编程 技术 变 得 越 来 越 普 遍 一 样 。 
现在 ， 国 外 的 外 包公 司 使 得 基础 的 计算 机 编程 技术 越 来 越 廉价 ， 如 今 它 甚至 
成 为 了 世界 贫困 人 口 的 致富 驱动 力 ， 而 不 再 代表 着 高 端 技术 。 当 然 ， 这 一 切 
并 不 是 要 说 大 数据 技能 不 重要 ， 只 是 这 不 是 大 数据 价值 的 最 主要 来 源 。 毕 竟 ， 
技术 是 外 在 的 力量 。 





现今 ， 我 们 正 处 在 大 数据 时 代 的 早期 ， 思 维和 技能 是 
最 有 价值 的 ， 但 是 最 终 ， 大 部 分 的 价值 还 是 必须 从 数据 本 
ls 身 来 挖掘 。 因 为 在 未 来 ， 我 们 可 以 利用 数据 做 更 多 的 事情 ， 
aoa 而 数据 拥有 者 们 也 会 真正 意识 到 他 们 所 拥有 的 财富 。 因 此 ， 
大 数据 洞察 他 们 可 能 会 把 他 们 手中 所 拥有 的 数据 抓 得 更 紧 ， 也 会 以 更 
高 的 价格 将 其 出 售 。 继 续 用 金 矿 来 打 比方 : 只 有 金子 才 是 

真正 值钱 的 。 
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然而 ， 如 果 数 据 拥有 者 做 长 远 打算 的 话 ， 有 一 个 小 问题 十 分 值得 关注 : 
那 就 是 在 有 些 情况 下 会 出 现 “ 数 据 中 间 人 ”， 它 们 会 从 各 种 地 方 搜集 数据 进行 
整合 ， 然 后 再 提取 有 用 的 信息 进行 利用 。 数 据 拥有 者 可 以 让 中 间 人 充当 这 样 
的 角色 ， 因 为 有 些 数据 的 价值 只 能 通过 中 间 人 来 挖掘 。 


效 据 中 间 商 ， 交 通 数据 处 理 公司 Inrix : 
总 部 位 于 西雅图 的 交通 数据 处 理 公司 Inrix 就 是 : 
个 很 好 的 例子 。 它 汇集 了 来 自 美洲 和 欧洲 近 1 亿 | 
iarnaig 
丰田 车 等 私家 车 ， 还 有 一 些 商用 车 ， 比 如 出 租车 和 : 
货车 。 私 家 车 主 的 移动 电话 也 是 数据 的 来 源 。 这 也 ; 
要 建立 一 个 免费 的 条 能 手机 应 用 得 TTT 
序 ， 因 为 一 方面 它 可 以 为 用 户 提供 免费 的 交通 信息 ， 
万 一 方面 它 自己 就 得 到 了 同步 的 数据 。Inrix 通过 把 
这 些 数据 与 历史 交通 数据 进行 比 对 ， 再 考虑 进 天 气 
和 其 他 诸如 当地 时 事 等 信息 来 预测 交通 状况 。 数 据 
软件 分 析出 的 结果 会 被 同步 到 汽车 卫星 导航 系统 中 ， 
政府 部 门 和 商用 车 队 都 会 使 用 它 。 
Inrix 是 典型 的 独立 运作 的 大 数据 中 间 商 。 它 汇 
聚 了 来 自 很 多 汽车 制造 商 的 数据 ， 这 些 数据 能 产生 
的 价值 要 远 远 超过 它们 被 单独 利用 时 的 价值 。 每 个 
汽车 制造 商 可 能 都 会 利用 它们 的 车 辆 在 行驶 过 程 中 
NE NN PEE 
是 很 准确 也 并 不 全 面 。 但 是 随 着 数据 量 的 激增 ， 
et 这 些 汽车 制造 商 并 
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， 不 一 定 掌握 了 分 析 数 据 的 技能 ， 它 们 的 强项 是 造 车 ， : 
而 不 是 分 析 泊 松 分 布 。 所 以 它们 都 愿意 第 三 方 来 做 。 
: 这 个 预测 的 事情 。 另 外 ， 虽 然 交通 状况 分 析 对 驾驶 

: 员 来 说 非常 重要 ， 但 是 这 几乎 不 会 影响 到 一 个 人 是 

| 否 会 购车 。 所 以 ， 这 些 同行 业 的 竞争 者 们 并 不 介意 
通过 行业 外 的 中 间 商 汇聚 它们 手 里 的 数据 。 


当然 ， 很 多 行业 已 经 有 过 信息 共享 了 ， 比 较 着 名 的 有 保险 商 实 验 室 ， 还 
有 一 些 已 经 联网 了 的 行业 ， 比 如 银行 业 、 能 源 和 通信 行业 。 在 这 些 行 业 里 ， 
言 县 交流 是 避免 问题 最 重要 的 一 环 ， 监 管 部 门 也 要 求 它 们 信息 互通 。 市 场 研 
究 公 司 把 几 十 年 来 的 数据 都 汇集 在 一 起 ， 就 像 一 些 专门 负责 审计 报刊 发 行 量 
的 公司 一 样 。 这 是 一 些 行业 联盟 组 织 的 主要 职责 。 


如 今 不 同 的 是 ， 数 据 开始 进入 市 场 了 。 数 据 不 再 是 单纯 意义 上 的 数据 ， 
它 被 控 据 出 了 新 的 价值 。 比 方 说 ，Inrix 收集 的 交通 状况 数据 信息 会 比 表面 上 
看 上 去 有 用 得 多 ， 它 被 用 来 评测 一 个 地 方 的 经 济 情况 ， 因 为 它 也 可 以 提供 关 
于 失业 率 、 零 售 额 、 业 余 活动 的 信息 。2011 年 ， 美 国 经 济 复苏 开始 放 缓 ， 虽 
然 政客 们 强烈 否定 ， 但 是 这 个 信息 还 是 被 交通 状况 分 析 给 披露 了 出 来 。Inrix 
的 分 析 发 现 ， 上 下 班 高 峰 时 期 的 交通 状况 变 好 了 ， 这 也 就 说 明 失 业 率 增加 了 ， 
经 济 状况 变 差 了 。 同 时 ，Inrix 把 它 收集 到 的 数据 卖 给 了 一 个 投资 基金 ， 这 个 
投资 基金 把 交通 情况 视 作 一 个 大 型 零售 商场 销量 的 代表 ， 一 旦 附近 车 辆 很 多 ， 
就 说 明 商场 的 销量 会 增加 。 在 商场 的 季度 财政 报表 公布 之 前 ， 这 项 基金 还 利 
用 这 些 数据 分 析 结果 换 得 了 商场 的 一 部 分 股份 。 


大 数据 价值 链 上 还 出 现 了 很 多 这 样 的 中 间 人 。 比 较 早 期 的 一 个 就 是 
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Hitwise， 现 在 它 已 经 被 益 百 利 收购 了 。Hitwise 与 一 些 互 联网 服务 公司 合作 ， 
它 文 付 给 这 些 公 司 一 些 费 用 使 用 它们 的 数据 。 这 些 数据 只 是 以 一 个 固定 的 低 
价 授 权 给 Hitwise， 而 不 是 按 它 所 得 利润 的 比例 抽 成 。 这 样 一 来 ，Hitwise 作 
为 中 间 人 就 得 到 了 大 部 分 的 利润 。 另 一 个 中 间 人 的 例子 就 是 Quantcast， 它 通 
过 帮助 网 站 记录 用 户 的 网 页 浏览 记录 来 测评 用 户 的 据 年 龄 、 收 入、 喜好 等 个 
人 信息 ， 然 后 向 用 户 发 送 有 针对 性 的 定向 广告 。 它 提供 了 一 个 网 上 系统 ， 网 
站 通过 这 个 系统 就 能 记录 用 户 的 浏览 记录 ， 而 Quantcast 就 能 得 到 这 些 数据 来 
帮助 自己 提高 定向 广告 的 效率 。 


这 些 中 间 人 在 这 个 价值 链 中 站 在 了 一 个 收益 丰厚 的 位 置 上 ,但 是 它们 并 
没有 威胁 到 为 他 们 提供 数据 的 数据 拥有 者 的 利润 。 现 在 ， 广 告 业 是 一 个 高 利 
润 行业 ， 因 为 大 部 分 的 数据 都 藏身 于 此 ， 而 社会 各 行 各 业 都 急切 地 需要 通过 
挖 据 这 些 数据 进行 定向 广告 。 但 是 随 着 越 来 越 多 的 事情 被 数据 化 ， 越 来 越 多 
的 行业 意识 到 它们 与 数据 有 交流 ， 这 些 独立 的 数据 中 间 人 也 会 在 别处 出 现 。 


有 时 ， 这 些 中 间 人 不 一 定 是 商业 性 质 的 组 织 ， 也 可 能 是 非 营 利 性 的 ， 比 
如 ，2011 年 由 美国 几 个 最 大 的 医疗 保险 公司 联合 创立 的 卫生 保健 成 本 协会 
( Health Care Cost Institute )。 它们 的 数据 汇集 了 来 自 3 300 万 人 的 50 亿 份 保单 ， 
当然 这 都 是 匿名 的 。 数 据 共享 之 后 ， 这 些 公 司 可 以 看 到 在 一 个 独立 较 小 的 数 
据 库 里 看 不 到 的 信息 。2008 年 9 月 ， 这 个 超大 型 数据 库 就 有 了 第 一 个 重大 发 
现 ， 那 束 是 美国 的 医疗 花费 比 通货 膨胀 率 的 增长 速度 快 3 倍 之 多 。 但 是 在 各 
个 细微 方面 的 情况 就 各 有 不 同 了 : 其 中 急诊 室 治疗 费用 上 涨 了 11%， 而 护理 
设施 的 价格 实际 上 是 下 跌 了 的 。 显 然 ， 医 疗 保险 公司 是 不 可 能 把 它 的 价格 数 
据 给 除非 营利 性 机 构 之 外 的 任何 组 织 的 。 这 个 组 织 的 动机 更 明确 ， 运 行 更 透 
明 化 且 更 富有 责任 心 。 
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大 数据 公司 的 多 样 性 表明 了 数据 价值 的 转移 。 在 Decide.com 的 案例 中 ， 
产品 价格 和 新 产品 的 发 布 数据 都 是 由 合作 的 网 站 提供 的 ， 然 后 合作 双方 共同 
分 享 利润 。Decide.com 通过 人 们 在 这 些 网 站 购买 产品 而 赚 取 佣金 ， 同 时 提供 
这 些 数据 的 公司 也 取得 了 部 分 利润 。 相 比 ITA 提供 给 Farecast 的 数据 就 不 抽 
取 佣 金 而 只 是 收取 基本 授权 费用 的 情况 ， 这 说 明了 这 个 行业 的 逐渐 成 熟 一 一 
如 今 数据 提供 者 会 更 占 优势。 不 难 想 象 ， 埃 齐 奥 尼 的 下 一 个 科技 公司 应 该 束 
会 目 己 收集 数据 了 ， 因 为 数据 的 价值 已 经 从 技术 转移 到 了 数据 目 吴 和 大 数据 
思维 上 。 


随 着 数据 价值 转移 到 数据 拥有 者 手 上 ， 传 统 的 商业 模式 也 被 颠覆 了。 上 
文 提 到 的 与 供 贷 商 进行 知识 产权 交易 的 欧洲 汽车 制造 商 就 拥有 一 个 非常 专业 
的 数据 分 析 团 队 ， 但 是 还 需要 一 个 科技 公司 来 苦 它 挖 据 数 据 的 价值 。 这 个 科 
技 公司 肯定 是 可 以 得 到 报酬 的 ， 但 是 大 头 还 是 被 这 个 汽车 制造 商 赚 走 了 。 不 
过 ， 这 个 科技 公司 发 现 了 商机 ， 于 是 它 改变 了 它 的 商业 模式 : 它 为 客户 承担 
一 定 的 风险 ， 因 为 有 风险 就 有 回报 。 而 且 ， 它 用 部 分 报酬 换取 了 一 部 分 的 分 
析 结 果 ， 因 为 这 个 分 析 结 果 是 可 以 循环 使 用 的 。 比 如 ,对 于 汽车 配件 供应 商 
来 说 ,它们 未 来 肯定 都 想 为 它们 的 产品 加 上 测试 仪 或 者 把 提供 产品 评估 数据 
写 进 销售 合同 的 标准 条 球 中 ， 这 样 它们 就 能 随时 改进 产品 的 质量 了 。 


对 于 中 间 商 来 说 ， 公 司 之 间 不 愿意 进行 数据 共享 的 问题 会 让 他 们 感到 很 
KE; 比如 Inrix 就 不 再 只 收集 关于 地 理 位 置 的 数据 了 。2012 年 ， 它 就 关于 
车 辆 的 自动 制 动 系统 何 时 何 地 会 生效 进行 了 分 析 ， 因 为 有 一 家 汽车 制造 商用 
它 的 遥感 勘测 系统 实时 地 收集 了 这 些 数据 。 它 们 认为 如 采 和 车 辆 的 目 动 制 动 系 
统 在 某 段 路 上 老 是 启动 的 话 ， 就 说 明 这 段 路 比较 危险 ， 应 该 考虑 更 换 路 人 径 。 
所 以 Inrix 不 仅 能 够 推荐 最 便捷 的 路 径 ， 而 且 可 以 推荐 最 安全 的 路 径 。 
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但 是 这 个 制造 商 并 不 想 和 别人 分 享 这 些 数据 ， 也 不 愿 分 享 它 的 全 球 定位 
系统 收集 到 的 数据 。 相 反 ， 它 要 求 Inrix 只 能 在 它 生 产 的 车 上 安装 这 个 系统 。 
在 制造 商 看 来 ， 公 开 这 些 数 据 似乎 比 汇 聚众 人 的 数据 一 起 来 提高 系统 的 整体 
精确 性 更 有 价值 。 但 即便 如 此 Inrix 也 相信 ， 到 最 后 ， 所 有 的 汽车 制造 商都 会 
意识 到 数据 共享 的 好 处 。Inrix 有 一 种 强烈 的 乐观 精神 : 作为 一 个 数据 中 间 商 ， 
它 的 运行 完全 是 依 徘 多 种 多 样 的 数据 来 源 。 


大 数据 时 代 中 的 公司 正在 体验 看 不 同 的 商业 模式 。 作 为 中 间 商 的 Inrix 把 
它 的 工作 重心 放 在 了 设计 上 ， 这 与 众多 科技 创业 公司 的 商业 模式 不 同 。 微 软 
SRARAN BL SA, 但 是 它 却 认为 一 个 独立 的 小 公司 可 能 更 容易 被 接受 、 
更 有 利于 汇聚 行业 内 各 方 的 数据 和 从 知识 产权 中 获 利 最 大 。 还 有 ， 微 软 用 来 
分 析 病 患 再 人 住 率 的 Amalga 系统 曾经 就 是 华盛顿 中 心 医院 自己 的 内 部 急症 
室 软件 Azyxxi， 这 是 医院 在 2006 年 卖 给 微软 公司 的 ， 因 为 考虑 到 微软 更 有 
能 力 把 这 个 软件 做 好 和 挖掘 出 这 些 数据 的 潜在 价值 。 


2010 年 UPS 就 把 它 的 UPS Logistics Technologies 部 门 卖 给 了 一 
x Thoma Bravo 的 私人 股本 公司 。 如 今 ， 它 已 经 变 成 了 Roadnet 
Technologies， 可 以 为 多 家 公司 进行 线路 分 析 。Roadnet 从 客户 手中 
收集 大 量 数据 ， 同 时 为 UPS 和 它 的 竞争 者 提供 行业 内 广 受 认可 的 标 
杆 性 服务 。Roadnet 的 首席 执行 官 兰 肯尼迪 (Len Kennedy ) 解释 
说 ,“ 如 果 是 UPS Logistics, ABA UPS 的 竞争 对 手 肯 不 会 交 出 它们 
的 数据 ， 因 此 ， 只 有 让 它 变 成 一 个 独立 的 公司 ，UPS 的 竞争 对 手 才 
会 愿意 拿 出 它们 的 数据 。 最 终 ， 每 个 公司 都 从 中 受益 了 ， 因 为 数 
据 汇集 之 后 ， 系 统 的 精确 性 就 更 高 了 。 


认为 数据 自身 而 不 是 技术 和 思维 更 值钱 的 想法 ， 在 大 数据 时 代 的 多 笔 商 
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业 交 易 中 都 有 所 体现 。2006 年 ， 微 软 以 1.1 亿美 元 的 价格 购买 了 埃 齐 奥 尼 的 
大 数据 公司 Farecast。 而 两 年 后 ， 谷 歌 以 7 亿美 元 的 价格 购买 了 为 Farecast 提 
供 数 据 的 ITA Software 公司 。 


专家 的 消亡 与 数据 科学 家 的 崛起 


在 《点 球 成 金 》 这 部 关于 奥克兰 运动 家 棒球 队 如 何 通过 利用 统计 学 和 数 
学 建 模 的 方式 分 析 数 字 ， 从 而 取得 最 终 胜 利 的 电影 中 ， 有 一 个 有 趣 的 场景 ， 
就 是 灰 头 发 的 老 球 探 们 坐 在 一 旁 评论 球员 。 观 众 不 得 不 因此 感到 萎缩 ， 不 仅 
因为 它 体现 了 人 类 做 决定 时 完全 不 依靠 数据 的 草率 ， 而 且 因为 我 们 都 经 历 过 
这 种 依赖 情感 而 不 是 科学 进行 判断 的 情况 。 


一 个 球 探 说 ,“ 他 不 错 ， 有 天 赋 ……' 而 且 长 得 也 不 错 。 

一 个 满 头 白 发 、 带 着 助听器 的 老人 上 鹿 弱 地 附和 道 ,“ 他 击 打 动 
作 不 错 ， 球 一 被 碰 到 就 一 下 子弹 出 去 老 远 。” 

另 一 个 球 探 也 附和 说 ,“ 击 打 很 大 声 。 

有 一 个 球 探 打 断 了 对 话 ， 说 ,“ 他 女 朋 友 真 妖 。? 

会 议 的 负责 人 说 ,“ 那 是 什么 意思 ?“ 

那个 人 似乎 很 肯定 地 说 ,“ 女 朋友 于 说 明 没 自信 呀 !” 

“很 好 ! ”负责 人 对 回答 很 满意 ， 然 后 会 议 继续 。 

开 了 一 会 玩笑 之 后 ， 一 个 一 直 没 说 话 的 球 探 说 ,“ 这 个 人 有 很 
大 的 气 场 。 我 的 意思 是 ， 他 还 没 上 场 呢 ， 对 手 就 已 经 提前 感受 到 了 
他 的 气势 。 

另 一 个 人 附和 道 ,“ 他 通过 了 长 相 测 试 ， 长 得 不 错 。 他 随时 都 
能 打球 ， 只 是 需要 点 儿 上 场 时 间 。 
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那个 常年 持 不 赞同 意见 的 人 反复 说 ,“ 我 就 是 说 说 ， 他 的 女 朋 
友 真 是 长 相 平平 。 


这 个 场景 完全 展示 了 人 类 判断 的 误区 。 一 个 似乎 经 过 了 理智 讨论 的 事情 
其 实 是 在 没有 什么 实际 标准 的 情况 下 做 出 的 决定 。 签 约 一 个 几 百 万 美元 年 薪 
的 球员 ， 也 只 是 看 感觉 没有 什么 客观 标准 的 。 是 的 ， 这 只 是 电影 中 的 场景 ， 
但 是 生活 中 这 种 情况 也 多 得 是 。 这 个 场景 之 所 以 具有 讽刺 意味 ， 就 是 因为 这 
是 普 衣 存在 的 , 从 曼哈顿 的 会 议 室 、 美 国 总 统 办 公 室 到 街角 咖啡 馆 , 任何 地 方 ， 
这 种 空 泛 的 推理 都 到 处 盛行 。 


影片 《点 球 成 金 》 改 编 自 迈 克 尔 :刘易斯 的 《 魔 球 一 一 逆境 中 致胜 的 智 
草包 讲述 的 是 一 个 真实 的 故事 ， 介 绍 奥 克 兰 运动 家 棒球 队 《〈 又 称 绿 帽 队 或 白 
FRI) 总 经 理 比 利 . HEE (Bily Beane) 的 经 营 哲学 ， 描 写 了 他 抛弃 几 百 年 一 
耳 依赖 的 选择 球员 的 传统 惯例 ， 采 用 了 一 种 依靠 电脑 程序 和 数学 建 模 分 析 比 
赛 数据 来 选择 球员 的 方法 。 他 并 没有 采用 那些 像 “ 棒 球 击 球 率 ” 这 样 传统 的 
标准 ， 而 是 采用 了 看 上 去 很 奇怪 的 、 类 似 “ 上 人 鸡 率 ”这 样 的 标准 。 这 个 方法 
发 现 了 这 项 体育 赛事 的 男 一 面 ， 始 终 存在 却 一 直 被 忽略 了 的 一 面 。 一 个 球员 
EHEBSHABA, 不管 是 地 深 球 还 是 三 垒 跑 , 只 要 他 上 驹 了 就 够 了 。 当 数 
据 表 明 丛 垒 不 实用 的 时 候 ， 即 使 这 会 让 比赛 更 有 看 头 ， 比 利 . 比 恩 也 不 会 再 
采用 这 种 没 效 果 的 技术 。 


在 一 片 批评 与 质疑 声 中 ， 比 恩 的 “ 赛 们 计量 学 ”( Sabermetrics ) 在 奥 克 
兰 运动 家 棒球 队 的 办 公 室 里 被 铭记 了 下 来 ， 这 是 以 体育 新 闻 记 者 比尔 : 詹 
姆 斯 (Bill James ) 在 美国 高 级 棒球 研究 协会 ( Society for Advanced Baseball 
Research) 中 的 工作 命名 的 。 直 到 现在 ， 美 国 高 级 棒球 研究 协会 一 直 是 一 种 
奇特 的 亚 文化 的 中 心 。 比 恩 打 破 一 切 常 规 惯例 ， 就 如 同 伽利略 用 “太阳 中 心 
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论 ” 来 挑战 天 主教 的 权威 一 样 。 最 终 ， 比 恩 市 领 这 支 备 受 争议 的 球 队 在 2002 
年 的 美国 联盟 西部 赛 中 生得 冠军 ， 还 取得 了 20 场 连 胜 的 战绩 。 从 那 以 后 ， 统 
计 学 家 取代 球 探 成 为 了 棒球 专家 ， 很 多 其 他 球 队 也 开始 争 相 采用 “ 赛 们 计量 
学 ”来 指导 球 队 运作 。 


同样 地 ， 人 类 从 依 徘 目 喘 判断 做 决定 到 依靠 数据 做 决定 的 转变 ， 也 是 大 
数据 作出 的 最 大 贡献 之 一 。 行 业 专家 和 技术 专家 的 光芒 都 会 因为 统计 学 家 和 
数据 分 析 家 的 出 现 而 变 瞳 ， 因 为 后 者 不 受 旧 观念 的 影响 ， 能 够 聆听 数据 发 出 
的 声音 。 他 们 的 判断 建立 在 相关 关系 的 基础 上 ,没有 受到 偏见 和 成 见 的 影响 ， 
这 就 如 同 惕 里 中 校 不 把 干 瘦 的 船长 在 酒吧 喝酒 时 所 说 的 航道 信息 当真 一 样 。 
他 们 的 判断 完全 依赖 于 汇集 起 来 的 数据 所 显示 出 的 实际 信息 ， 所 以 有 着 牢靠 
的 根基 。 英 里 所 采用 的 方法 并 没有 解释 风向 和 水 流 是 这 样 的 原因 ,但 是 对 于 
想 安全 航海 的 航海 家 来 说 , “什么 ”和 “哪里 ” 比 “ 为 什么 ”更 加 重要 。 


WS, 我 们 正在 见证 专家 在 各 个 领域 影响 的 减弱 。 在 传媒 界 ， 如 “ 赫 苍 
顿 邮 报 ”( Huffington Post) 和 高 客 网 (Gawker) 这 些 网 站 上 传播 的 新 闻 通 常 
取决 于 数据 ， 而 不 再 取决 于 编辑 的 新 闻 敏 感度 。 数 据 比 有 经 验 的 记者 更 能 揭 
示 出 哪些 是 符合 大 众 口 味 的 新 闻 。Coursera, 一 家 网 上 教育 公司 ,深度 地 研究 
它 收 集 的 所 有 数据 ， 比 如 学 生 重 放 过 讲座 视频 的 哪个 片段 ， 从 而 找 出 不 明确 
或 者 很 吸引 人 的 地 方 ， 然 后 反馈 给 设计 课程 的 团队 。 这 在 以 前 是 做 不 到 的 ， 
所 以 老师 的 教育 方法 一 定 会 改变 。 -就 像 我 们 在 前 文 提 到 过 的 ， 当 贝 索 斯 发 现 
算法 推荐 能 促进 销量 增加 的 时 候 ， 他 就 不 再 使 用 公司 的 书籍 评论 员 了 。 


这 都 意味 着 ， 与 时 俱 进 才 是 在 职业 领域 取得 成 功 的 必 备 技能 ; 这 样 的 员 
工 能 随时 满足 公司 对 他 们 的 期 望 。 安 大 略 的 麦 格雷 苹 医 生 不 需要 是 医院 里 最 
好 的 医生 ， 也 不 需要 是 产 前 护理 的 世界 权威 ， 就 能 给 早产 儿 提 供 极 好 的 治疗 ， 
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因为 她 采用 的 治疗 方法 是 电脑 在 处 理 了 近 十 年 的 病 患 记录 数据 之 后 推荐 的 。 
事实 上 ， 她 也 有 计算 机 科学 专业 的 博士 学 位 。 


正如 我 们 所 见 ， 大 数据 的 先锋 们 通常 并 不 来 自 于 他 们 做 出 了 极 大 贡献 的 
领域 。 他 们 是 数据 分 析 家 、 人 工 智 能 专家 、 数 学 家 或 者 统计 学 家 ， 但 是 他 们 
把 他 们 所 和 擎 握 的 技能 运用 到 了 各 个 领域 。Kaggle 的 首席 执行 官 安东尼 … 戈 德 
布 鲁 姆 (Anthony Goldbloom ) 说 ， 在 这 个 大 数据 项 目 苋 者 平台 上 取得 胜利 的 
人 通常 不 来 自 于 他 们 做 出 成 绩 的 领域 。 


一 个 英国 物理 学 家 设计 了 一 个 算法 系统 来 预测 保险 索赔 和 发 
现 二 手 车 的 质量 问题 ， 这 个 系统 差点 就 获胜 了 ; 还 有 一 个 新 加 坡 的 
精算 师 在 一 个 预测 人 体 对 化 合 物 的 生理 反应 项 目 中 取得 了 胜利 ; 同 
时 ， 在 谷歌 的 机 器 翻译 团队 中 ， 这 些 工 程 师 们 都 不 会 说 他 们 翻译 出 
的 语言 ; 类 似 的 还 有 ， 微 软 机 器 翻译 部 门 的 统计 学 家 们 在 茶余饭后 
的 谈资 就 是 说 每 次 一 旦 有 语言 学 家 离开 他 们 团队 ， 翻 译 的 质量 就 会 
IP Re 


当然 ,行业 专家 是 不 会 真正 消亡 的 ， 只 是 他 们 的 主导 地 位 会 发 生 改 变 。 
未 来 ， 大 数据 人 才 会 与 他 们 一 样 喘 大 高 位 ， 就 像 中 高 气 扬 的 因果 关系 必须 与 
卑微 的 相关 关系 分 享 它 的 光 芷 一 样 。 这 改变 了 我 们 怎样 看 待 知识 的 价值 ， 因 
为 我 们 往往 倾向 于 把 专业 人 才 看 的 比 全 才 更 重要 ， 也 就 是 说 深度 就 是 财富 。 
然而 ， 专 业 撤 能 岗 像 精确 性 一 样 ， 只 适用 于 “小 数据 ”时 代 ， 当 时 人 类 掌握 
的 数据 永远 不 够 多 也 不 够 准确 ， 所 以 需要 依赖 直觉 和 经 验 指导 。 在 那个 时 代 ， 
经 验 是 先决 的 ， 因 为 只 有 通过 这 种 无 法 从 书本 上 和 别人 口中 得 到 的 、 埋 藏 在 
潜意识 里 的 知识 的 积 累 ,我 们 才能 做 出 更 明智 的 决定 。 
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但 是 当 你 遭遇 海量 数据 的 时 候 ， 你 就 能 通过 挖掘 数据 而 得 到 更 多 。 所 以 
大 数据 分 析 家 会 把 过 去 看 成 是 迷信 和 成 规 ， 这 不 是 因为 他 们 更 聪明 ， 而 是 因 
为 他 们 拥有 了 这 个 财富 之 源 一 一 数据 。 同 时 ， 作 为 外 行人 ， 他 们 不 会 被 行业 
内 的 争论 所 限制 ， 因 为 他 们 不 会 被 自己 所 支持 一 方 的 观点 所 影响 而 产生 偏见 ， 
这 是 他 们 与 行业 专家 不 一 样 的 地 方 。 这 一 切 都 意味 着 ,一 个 员工 是 否 对 公司 
有 页 献 的 判断 标准 改变 了 。 这 也 就 意味 着 ， 你 要 学 的 东西 、 你 要 了 解 的 人 ， 
你 要 为 你 的 职业 生涯 所 做 的 准备 都 改变 了 。 


数学 和 统计 学 知识 ， 甚 至 是 有 少许 编程 和 网 络 科 学 的 知识 将 会 成 为 现代 
工厂 的 基础 ， 一 如 百年 前 的 计算 能 力 或 者 更 早 之 前 的 文学 。 人 类 的 价值 将 不 
再 体现 在 与 思维 类 似 的 同龄 人 的 交际 上 ， 而 体现 在 与 各 行 各 业 的 人 的 交际 上 ， 
因为 这 样 知识 束 能 广泛 而 深刻 地 进行 传播 。 过 去 ， 要 成 为 一 个 优秀 的 生物 学 
家 束 需 要 认识 很 多 生物 学 家 ， 这 并 没有 完全 改变 。 但 是 如 今 ， 不 只 是 专业 技 
能 的 这 度 很 重要 ， 大 数据 的 广度 也 变 得 很 重要 。 要 想 解决 一 个 生物 难题 ， 或 
许 与 天 体 物 理学 家 或 者 数据 视图 设计 师 联系 就 可 以 实现 。 


在 电子 游戏 领域 ， 大 数据 的 普通 人 才 早 已 经 和 高 级 专家 站 在 了 一 起 ,他 
们 正在 一 同 改变 这 个 行业 。 该 行业 每 年 收入 近 100 亿美 元 ， 比 好 莱 坞 的 票房 
收入 还 要 多 。 过 去 ,游戏 公司 会 设计 一 个 游戏 ， 发 布 它 ， 指 望 它 能 一 炮 而 红 。 
然后 ， 公 司 会 考虑 到 销售 情况 ， 要 人 么 继续 推出 升级 版 ， 要么 开始 人 研发 新 游戏 。 
游戏 的 速度 、 人 物 、 情 证 、 物 品 和 事件 的 设 定 都 是 基于 设计 师 的 创造 力 ， 这 
些 设计 师 对 竺 工作 的 认真 程度 就 像 米 开明 基 罗 画 西 斯 廷 教 符 时 一 样 。 但 是 ， 
这 是 一 门 艺 术 而 不 是 科学 ， 艺 术 讲 究 的 是 直觉 和 情感 ， 就 像 《 点 球 成 金 》 中 
球 探 们 所 表现 的 一 样 ， 然 而 那个 时 代 已 经 过 去 了 。 


zynga 的 FarmVille, FrontierVille, FishVille 和 其 他 网 络 游戏 都 是 交互 式 游 
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戏 。 表 面 上 ， 这 些 游戏 允许 zynga 收集 用 户 数据 以 及 在 这 些 数 据 的 基础 上 对 
游戏 进行 修改 ， 而 事实 上 ， 这 些 游戏 远 远 不 止 一 个 版 本 。 因 为 公司 可 以 收集 
到 游戏 中 的 数据 ， 所 以 一 旦 有 玩家 难以 过 关 或 者 因为 某 一 关 不 对 劲 而 不 想 再 
玩 了 的 时 候 ，zynga 了 就 能 通过 这 些 数据 发 现 问题 ， 然 后 对 游戏 进行 修改 ; 但 
是 更 加 隐 性 的 是 ， 该 公司 会 针对 不 同 的 玩家 设计 不 同 的 游戏 ， 像 FarmVille 
BLA FILA TRA 


这 个 公司 的 大 数据 分 析 家 们 通过 颜色 或 者 是 否 有 玩家 看 到 他 的 
朋友 正在 使 用 这 些 产品 ， 来 研究 虚拟 产品 的 销量 是 否 增加 了 。 比 方 
说 ， 当 数据 显示 FishVille 的 玩家 购买 透明 鱼 的 数量 是 其 他 产品 的 6 
售 的 时 候 ，zynga 就 会 通过 多 提供 透明 鱼 出售 而 谋取 更 高 利润 。 在 
Mafia Wars 中 ， 数 据 则 显示 玩家 更 喜欢 购买 有 金边 的 武器 和 纯 白 的 
宠物 老虎 。 这 些 都 不 是 一 个 游戏 设计 师 在 工作 室 里 能 发 现 的 东西 ， 
但 是 数据 就 能 把 这 些 信 息 传 递 出 来 。zynga 的 首席 分 析 师 鲁 丁 说 道 ， 
“我 们 打 着 游戏 公司 的 悍 子 ， 实 际 上 在 做 的 是 分 析 公 司 的 事 。 我 们 
的 运作 都 是 以 数据 为 基础 的 。” 


这 种 转变 意义 非凡 。 大 部 分 人 往往 都 通过 经 验 、 回 忆 以 及 连 蒙 带 猜 地 做 
决定 ， 就 像 W.H. SE (Wystan Hugh Auden) 的 名 诗 中 所 说 的 “主观 腑 想 的 
膨胀 一 一 感情 在 太阳 神经 丛 的 汇聚 "。 坐 落 于 马萨诸塞 州 的 巴 布 森 学 院 商科 教 
授 托 马 斯 * 达 文 波 特 (Thomas Davenport ) 是 多 部 数据 分 析 著 作 的 作者 ， 他 把 
这 种 情感 称 为 “黄金 般 的 直觉 "。 执 行 官 们 信任 自己 的 直觉 ， 所 以 由 着 它 做 
决定 。 但 是 ， 随 着 管理 决策 越 来 越 受 预测 性 分 析 和 大 数据 分 析 的 影响 和 控制 ， 
由 下 党 做 决定 的 情况 将 会 被 彻底 改变 。 
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The-Numbers.com 与 电影 票房 预测 er 
比方 说 ，The-Numbers.com 在 好 莱 坞 电影 上 映 : 1 
锋 


亲 灿 生生 和 网 大 如 才 和 从 





之 前 ， 就 能 利用 海量 数据 和 特定 算法 预测 出 一 部 电 
影 的 票房 ， 而 这 些 信息 就 可 以 为 电影 制 片 人 所 用 。: 
该 公司 拥有 一 个 包括 了 过 去 几 十 年 美国 所 有 商业 电 : 
影 大约 3 000 万 条 记录 的 数据 库 ， 数 据 库 里 有 所 有 | 
<THE. SER ME EA ReRRE CCC 
ASB. BEZARAR KEMERES, 
海外 版 权 销售 收入 、 影 碟 销 售 收 入 以 及 租金 等 。 公 
司 创始 人 兼 总 裁 布 鲁 斯 .纳什 ( Bruce Nash ) iit, FÈ 
们 公司 开发 了 一 个 网 络 系统 ， 其 中 有 100 万 条 类 做 
“A 编剧 曾 与 B 导演 合作 过 ，C 导演 曾 与 D 演员 合 
作 过 ”这 样 的 联系 信息 。 
该 公司 通过 找 出 这 样 复杂 的 相关 关系 来 预测 电 
影 的 收入 。 借 助 于 这 个 预测 ， 电 影 制 片 人 可 以 向 工 
作 室 或 投资 人 募 资 。The-Numbers.com 甚至 可 
诉 客户 改变 哪些 选择 可 以 增收 或 者 降低 风险 。 
它 的 分 析 发 现 有 一 部 电 景 wap spr 
名 的 、 身 价 在 500 万 美元 左右 的 某 位 一 线 演员 做 男 
一 号 的 话 ， 更 有 可 能 票房 大 卖 。 还 有 一 次 ， 纳 什 千 
诉 IMAX 工作 室 ， 一 部 航海 纪录 片 需要 把 预算 从 
1 200 "ecco 800 万 才能 赢利 。 纳 什 开 玩笑 地 
说 ,“ 这 可 乐 坏 了 制 片 人 ， 但 是 导演 就 不 高 兴 了 。” 


PETTEEE ASSL OREO ETS ERATE SEE ERDAS HET OOD ERMA KH E POOP FADE EME ERE T OBA E EKA ROTO REL ERATE OMT EAEAAGTE OTT ETAEHEAA PHOT HEREEHAREEHHM ED 


jeu UORNIOASY Y 





SATI SAA MOM UWUOISUBLL HAA 


从 是 否 出 品 一 部 电影 到 签 下 哪个 三 垒 手 ， 公 司 的 决策 过 程 已 经 有 了 基 
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ii PE H HA TAE, MELE Boe Pea Be PIR B+ APE TE OR AK (Erik 
Brynjolfsson ) 和 他 的 同事 一 起 进行 了 一 项 研究 ， 发 现 决 策 依赖 数据 的 公司 的 
运营 情况 比 不 重视 数据 的 公司 出 色 很 多 一 一 这 些 公司 的 生产 率 比 不 使 用 数据 
进行 决策 的 公司 高 6%。 这 是 一 个 重要 的 竞争 力 ， 虽然 随 着 大 数据 手段 被 越 
来 越 多 的 公司 采用 ， 这 种 竞争 力 会 慢 慢 削 弱 。 


KAR, PEED 


大 数据 成 为 许多 公司 竞争 力 的 来 源 ， 从 而 使 整个 行业 结构 都 改变 了 。 当 
然 ， 每 个 公司 的 情况 各 有 不 同 。 大 公司 和 小 公司 最 有 可 能 成 为 赢家 ， 而 大 部 
分 中 等 规模 的 公司 则 可 能 无 法 在 这 次 行业 调整 中 尝 到 甜头 。 


虽然 像 亚 马 逊 和 谷歌 一 样 的 行业 领头 羊 会 一 直 保持 领先 地 位 ， 但 是 和 工 
业 时 代 不 一 样 ， 它 们 的 企业 竞争 力 并 不 是 体现 在 庞大 的 生产 规模 上 。 已 经 拥 
有 的 技术 配备 规模 固然 很 重要 ,但 那 也 不 是 它们 的 核心 竞争 力 ， 毕 竟 如 今 已 
经 能 够 快速 而 廉价 地 进行 大 量 的 数据 存储 和 处 理 了 。 公 司 可 以 根据 实际 需要 
调整 它们 的 计算 机 技术 力量 ， 这 样 就 把 固定 投入 变 成 了 可 变 投 入 ， 同 时 也 前 
弱 了 大 公司 的 技术 配备 规模 的 优势 。 


规模 仍然 很 重要 ， 但 是 如 今 重 要 的 是 数据 的 规模 ， 也 





> G D ATA 
eae 就 是 说 要 掌握 大 量 的 数据 而 且 要 有 能 力 轻松 地 获得 更 多 的 
Work and Think S 数据 。 所 以 ， 随 着 拥有 的 数据 越 来 越 多 ， 大 数据 拥有 者 将 


大 数据 洞察 大 放 异 彩 ， 因 为 他 们 可 以 把 这 些 数 据 转化 为 价值 。 


185 


BIG DATA 
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Wil Transform How We Live, 
York, and Think 


大 数据 时 代 


大 数据 回 小 数据 时 代 的 原 家 以 及 那些 线 下 大 公司 〈《 如 沃尔玛 、 联 邦 快递 、 
EAA, CRA. RGAE) 提出 了 挑战 ， 后 者 必须 意识 到 大 数据 的 威 
力 然 后 有 策略 地 收集 和 使 用 数据 。 同 时 ,科技 创业 公司 和 新 兴 行 业 中 的 老牌 
企业 也 准备 收集 大 量 的 数据 。 


在 过 去 十 年 里 ， 航 空 发 动机 制造 商 劳 斯 莱 斯 通过 分 析 产 品 使 用 过 程 中 收 
集 到 的 数据 ， 实 现 了 商业 模式 的 转型 。 坐 落 于 英格兰 德比 郡 的 劳 斯 莱 斯 运营 
中 心 一 直 监 控 着 全 球 范围 内 超过 3 700 架 飞 机 的 引擎 运行 情况 ， 为 的 就 是 能 
在 故障 发 生 之 前 发 现 问 题 。 数 据 帮 助 劳 斯 莱 斯 把 简单 的 制造 转变 成 了 有 附加 
价值 的 商业 行为 : 劳 斯 莱 斯 出 售 发 动机 ， 同 时 通过 按时 计 费 的 方式 提供 有 偿 
监控 服务 (一 旦 出 现 问 题 ， 还 进一步 提供 维修 和 更 换 服 务 )。 如 今 ， 民 用 航空 
发 动机 部 门 大 约 70% 的 年 收入 都 是 来 目 其 提供 服务 所 赚 得 的 费用 。 


苹果 ， 挖 出 “潜伏 ”的 数据 价值 

苹果 公司 进军 移动 手机 行业 就 是 一 个 很 好 的 例 | 

Fo É iPhone 推出 之 前 ， 移 动 运营 商 从 用 户 手中 收 

集 了 大 量具 有 潜在 价值 的 数据 ， 但 是 没 能 深入 挖掘 。 

。 其 价值 。 相 反 ， 苹 果 公 司 在 与 运营 商 签订 的 合约 中 -| 

TT 通过 来 中 
。 自 多 个 运营 商 提供 的 大 量 数据 ， 苹 果 公司 所 得 到 的 
关于 用 户 体验 的 数据 比 任何 一 个 运营 商都 要 多 。 攻 
果 公 司 的 规模 效益 体现 在 了 数据 上 ， 而 不 是 固有 次 

EE, 


” 
PERPH MOT SRE EAHA AMET EHR EARAE EHS OOS EASTER TORT TESTA EMOTE ATEN PHOT ER ALE RA RHO TOOL AOE TOMER ALEK EHH TPE ERMA HEHE HAad Lew eH 


Jey, Uon YY; 


i NE 
YUU DUB HOMA à? 


‘SANT SAA MOH ULOJSUELL IMAA i 





大 数据 也 为 小 公司 市 来 了 机 遇 。 用 埃 里 元 教 授 的 话说 就 是 ， 聪 明 而 灵活 
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的 小 公司 能 主 受 到 非 固有 资产 规模 市 来 的 好 处 。 这 也 就 是 说 ， 它 们 可 能 没有 
很 多 的 固有 资产 但 是 存在 感 非常 强 ， 也 可 以 低 成 本 地 传播 它们 的 创新 成 采 。 
重要 的 是 ， 因 为 最 好 的 大 数据 服务 都 是 以 创新 思维 为 基础 的 ， 所 以 它们 不 一 
定 需要 大 量 的 原始 资本 投入 。 数 据 可 以 授权 但 是 不 能 被 睛 有 ， 数 据 分 析 能 在 
云 处 理 平台 上 快速 而 且 低 成 本 地 进行 ， 而 授权 费用 则 应 从 数据 市 来 的 利益 中 
抽取 一 小 部 分 。 


大 大 小 小 的 公司 都 能 从 大 数据 中 获 利 ， 这 个 情况 很 有 可 能 并 不 只 是 适用 
于 使 用 数据 的 公司 ， 也 适用 于 午 握 数据 的 公司 。 大 数据 拥有 者 想 尽 办 法 想 增 
加 它们 的 数据 存储 量 ， 因 为 这 样 能 以 极 小 的 成 本 市 来 更 大 的 利润 。 首 先 ， 它 
们 已 经 具备 了 存储 和 处 理 数据 的 基础 。 其 次 ， 数 据 库 的 融合 能 市 来 特有 的 价 
值 。 最 后 ， 数 据 使 用 者 如 有 果 只 需要 从 一 人 手中 购 得 数据 ， 那 将 更 加 省 时 省 力 。 
不 过 实际 情况 要 和 远 远 复 杂 得 多 ,可 能 还 会 有 一 群 处 在 为 一 方 的 数据 拥有 者 (个 
人 ) 诞生 。 因 为 随 着 数据 价值 的 显现 ， 很 多 人 会 想 以 数据 拥有 痢 的 号 份 大 展 
喘 手 ,他 们 收集 的 数据 往往 是 和 自身 相关 的 ， 比 如 他 们 的 购物 习惯 、 观 影 习 
惯 、 也 许 还 有 医疗 数据 等 。 


这 使 得 消费 者 拥有 了 比 以 前 更 大 的 权利 。 消 费 者 可 以 上 自行 决定 把 这 些 数 
据 中 的 多 少 授 权 给 任何 公司 。 当 然 ， 不 是 每 个 人 都 只 在 乎 把 他 的 数据 卖 个 高 
OY, 很 多 人 愿意 免费 提供 这 些 数据 来 换取 更 好 的 服务 ， 比 如 想得到 亚马逊 更 
准确 的 图 书 推荐 。 但 是 对 于 很 大 一 部 分 对 数据 敏感 的 消费 者 来 说 ， 营 销 和 出 
售 他 们 的 个 人 信息 就 像 写 博客 、 发 twitter 信息 和 在 维基 百科 检索 一 样 自然 。 


然而 ， 这 一 切 的 发 生 不 只 是 消费 者 意识 和 喜好 的 转变 所 能 促成 的 。 现 在 ， 
无 论 是 消费 者 授权 他 们 的 信息 还 是 公司 从 个 人 手中 购 得 信息 都 还 过 于 昂贵 和 
杂 。 这 很 可 能 会 催生 出 一 些 中 间 商 ， 它 们 从 众多 消费 者 手中 购 得 信息 ， 然 
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后 卖 给 公司 。 如 有 果 成 本 够 低 ， 而 消费 者 又 足够 信任 这 样 的 中 间 商 ， 那 么 个 人 
数据 市 场 就 很 有 可 能 诞生 ， 这 样 个 人 就 成 功 地 成 为 了 数据 拥有 者 。 美 国 麻 省 
理工 学 院 媒 体 实 验 室 的 个 人 数据 分 析 专 家 桑 迪 ' 彭 特 兰 与 人 一 起 创办 的 ID 
公司 已 经 在 致力 于 让 这 种 模式 变 为 现实 。 


只 有 当 这 些 数 据 中 间 商 诞生 并 开始 运营 ， 而 数据 使 用 者 也 开始 使 用 这 些 
数据 的 时 候 ， 消 费 者 才能 真正 变 成 数据 掌握 者 。 如 今 ， 消 费 者 在 等 待 足够 的 
设备 和 适当 的 数据 中 间 商 的 出 现 ， 在 这 之 前 ， 他 们 希望 自己 披露 的 信息 越 少 
越 好 。 总 之 ， 一 旦 条 件 成 熟 ， 消 费 者 就 能 从 真正 意义 上 成 为 数据 掌握 者 了 。 


不 过 ， 大 数据 对 中 等 规模 的 公司 帮助 并 不 大 。 波 士 顿 咨询 集团 的 资深 技 
术 和 商业 顾问 菲 利 浦 埃 文 斯 (Philip Evans ) 说 ， 超 大 型 的 公司 占据 了 规模 
优势 ， 而 小 公司 则 具有 灵活 性 。 在 传统 行业 中 ， 中 等 规模 的 公司 比 大 公司 更 
有 灵活 性 ， 比 小 公司 更 有 规模 。 但 是 在 大 数据 时 代 ， 一 个 公司 没 必要 非 要 达 
到 茶 种 规模 才能 支付 它 的 生产 设备 所 需 投 入 。 大 数据 公司 发 现 它们 可 以 是 一 
个 灵活 的 小 公司 并 且 会 很 成 功 ( 或 者 会 被 大 数据 巨头 合并 )。 


大 数据 让 处 于 行业 两 端的 公司 受益 良 多 ， 而 中 等 规模 

的 公司 要 么 向 两 端 转换 ， 要 么 破产 。 传 统 行业 最 终 都 会 转 

i ee 变 为 大 数据 行业 ， 无 论 是 金融 服务 业 、 医 药 行业 还 是 制造 

Cr 业 。 当 然 ， 大 数据 不 会 让 所 有 行业 的 中 等 规模 的 公司 消亡 ， 

大 数据 洞察 但 是 肯定 会 给 可 以 被 大 数据 分 析 所 取代 的 中 等 规模 公司 带 
来 巨大 的 威胁 。 





大 数据 也 会 撼动 国家 竞争 力 。 当 制造 业已 经 大 幅 转 向 发 展 中 国家 ， 而 大 
家 都 争 相 发 展 创新 行业 的 时 候 ， 工 业 化 国家 因为 掌握 了 数据 以 及 大 数据 技术 ， 
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所 以 仍然 全 球 竞 争 中 占据 优势 。 不 幸 的 是 ， 这 个 优势 很 难 持续 。 就 像 互 联网 
和 计算 机 技术 一 样 ， 随 着 世界 上 的 其 他 国家 和 地 区 都 开始 采用 这 些 技术 ， 西 
方 世 界 在 大 数据 技术 上 的 领先 地 位 将 慢 慢 消失 。 对 于 发 达 国 家 的 大 公司 来 说 ， 
好 消 居 就 是 大 数据 会 加 剧 优胜 劣 汰 。 所 以 一 旦 一 个 公司 掌握 了 大 数据 ， 它 不 
但 有 可 能 超过 它 的 对 手 ， 还 有 可 能 遥遥 领先 。 


竞争 正如 火 如 茜 地 进行 。 就 像 谷 歌 的 检索 系统 需要 用 
pie 户 数据 才能 完好 运行 ， 德 国 的 汽车 零件 供应 商 需 要 反馈 的 
Wil Transform How We Live, | 数据 来 提高 它 的 零件 质量 ， 所 有 的 公司 都 能 通过 巧妙 地 控 


大 数据 洞察 所 数据 价值 而 获得 利益 。 数 据 能 够 优化 生产 和 服务 ， 甚 至 
能 催生 新 的 行业 。 






不 过 ， 就 算 有 这 么 多 好 处 ， 我 们 依然 有 担忧 的 理由 。 因 为 随 着 大 数据 能 
够 越 来 越 精确 地 预测 世界 的 事情 以 及 我 们 所 处 的 位 置 ， 我 们 可 能 还 没有 准备 
好 接受 它 对 我 们 的 隐私 和 决策 过 程 带 来 的 影响 。 我 们 的 认 知 和 制度 都 还 不 习 
惯 这 样 一 个 数据 充裕 的 时 代 ， 因 为 它们 都 建立 在 数据 稀缺 的 基础 之 上 。 下 一 
个 章节 ， 我 们 将 探讨 大 数据 所 带 来 的 不 良 影响 。 
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无 处 不 在 的 “第 三 只 眼 ” 


1989 年 ， 柏 林 墙 倒塌 ， 之 前 的 近 40 年 间 ， 民 主 德国 国家 安全 局 “Stasi” 
雇用 了 十 万 左右 的 全 职 间谍 ， 时 刻 在 街 上 开车 监视 着 成 千 上 万 民众 的 一 举 一 
动 。 他 们 拆 看 信件 、 偷 宁 银 行 账户 信息 、 在 民众 家 中 安装 窃听 器 并 且 和 客 听 电 
话 。 他 们 还 会 让 情人 、 夫 妇 、 父 母 和 和 孩子 相互 监视 ， 导 致 人 与 人 之 间 丧 失 了 
最 基本 的 信任 。 结 果 ， 详细 记录 普通 人 最 私密 生活 信息 的 文件 至 少 包括 了 
3 900 TIKRI FHAA EA 113 公里 长 的 文档 。 民 主 德国 是 一 个 史无前例 
的 受到 如 此 全 面 监控 的 国家 。 


德国 统一 20 年 之 后 ， 更 多 的 个 人 信息 被 采集 和 存储 了 下 来 。 我 们 时 刻 
都 肾 露 在 “第 三 只 眼 ”之 下 ， 不 管 我 们 是 在 用 信用 卡 支 付 、 打 电话 还 是 使 用 
身份 证 。2007 F, 英国 的 一 家 报社 曾 讽刺 地 报道 , 在 乔治 奥 威 尔 创作 《一 九 
八 四 》 的 地 方 ， 也 就 是 他 的 伦敦 公寓 外 60 米 范 围 内 ， 起 码 有 30 多 架 摄 像 机 
在 监视 看 他 的 一 举 一 动 。 
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互联 网 出 现 之 前 ， 如 区 可 飞 和 益 百 利 这 样 的 专业 数据 收集 公司 就 采集 、 
记录 了 全 球 范围 内 大 约 几 百 万 人 口 的 数据 ， 而 它们 提供 的 每 个 人 的 个 人 数据 
就 多 达 好 几 百 份 。 而 互联 网 的 出 现 使 得 监视 变 得 更 容易 、 成 本 更 低廉 也 更 有 
用 处 。 如 今 ， 已 经 不 只 是 政府 在 暗中 监视 我 们 了 。 亚 马 逊 监视 着 我 们 的 购物 
习惯 ,， 合 歌 监视 看 我 们 的 网 页 浏览 习惯 ，twitter HUTS TT RAT PAY “TA”, 
facebook 似乎 什么 都 知道 ， 包 括 我 们 的 社交 关系 网 。 


进行 大 数据 分 析 的 人 可 以 轻松 地 看 到 大 数据 的 价值 潜力 ， 这 极 大 地 刺激 
着 他 们 进一步 采集 、 和 存储 、 循 环 利 用 我 们 个 人 数据 的 野心 。 随 着 存储 成 本 继 
续 雄 跌 而 分 析 工 具 越 来 越 先进 ， 采 集 和 存储 数据 的 数量 和 规模 将 突飞猛进 地 
增长 。 如 采 说 在 互联 网 时 代 我 们 的 隐私 受到 了 威胁 ,那么 大 数据 时 代 是 否 会 
加 深 这 种 威胁 呢 ? 这 就 是 大 数据 的 不 利 影响 吗 ? 


答案 是 肯定 的 。 大 数据 还 会 带 来 更 多 的 威胁 ， 毕 竟 ， 大 数据 的 核心 思想 
就 是 用 规模 剧 增 来 改变 现状 。 我 们 也 将 分 析 它 是 如 何 加 深 对 我 们 隐私 的 威胁 
的 ， 同 时 还 将 面 对 一 个 新 的 挑战 ， 即 运用 大 数据 预测 来 判断 和 惩罚 人 类 的 湾 
在 行为 。 这 是 对 公平 公正 以 及 目 由 意志 的 一 种 于 淡 ， 同 时 也 轻视 了 决策 过 程 
FPR FA sk AS) Be 


Be Tet Ra ABD AR BLO, CORA RITE KRE 
的 定罪 权 放 在 了 数据 手中 ， 借 以 表达 我 们 对 数据 和 我 们 的 分 析 结果 的 崇尚 
但 是 这 实际 上 是 一 种 滥用 。 应 用 得 当 ， 大 数据 会 是 我 们 合理 决策 过 程 中 的 有 
DRE; 倘若 运用 不 当 ， 它 就 可 能 会 变 成 权贵 用 来 镇 压 民众 的 工具 ， 轻 则 伤 
害 顾客 和 员工 的 利益 ， 重 则 损害 公民 的 人 身 安全 。 我 们 所 冒 的 风险 比 想象 中 
还 要 大 。 如 果 在 隐私 和 预测 方面 对 大 数据 管理 不 当 ， 或 者 出 现 数据 分 析 错误 ， 
会 导致 的 不 良 后 果 比 定制 的 在 线 广告 要 严重 得 多 。 
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20 世纪 ， 我 们 见证 了 太 多 由 于 数据 利用 不 合理 所 导致 的 惨剧 。 
比如 1943 年 ， 美 国人 口 普查 局 递交 了 地 址 数据 来 帮助 美国 政府 拘 
留 日 痊 美 国人 (当时 它 没 有 提交 街道 名 字 和 具体 街 号 的 数据 ， 居 然 
幻想 着 这 样 能 保护 隐私 ); 荷兰 著名 的 综合 民事 记录 数据 则 被 纳 磅 
分 子 用 来 搜捕 犹太 人 ; 纳粹 集中 营 里 罪犯 的 前 展 上 刺青 的 五 位 数 与 
码 与 TBM 的 霍 现 斯 穿孔 卡片 上 的 号 码 是 一 臻 的， 这 一 切 都 表明 是 数 
据 处 理 帮 助 实现 了 大 规模 的 属 床 。 


我 们 的 隐私 被 二 次 利用 了 


我 们 倾向 于 从 数字 数据 的 增长 和 奥 威 尔 写 《1984》 时 所 处 “监视 炼狱 
的 角度 去 理解 大 数据 给 个 人 隐私 带 来 的 威胁 。 但 是 事实 上 ， 不 是 所 有 的 数据 
都 包含 了 个 人 人 信息。 其实， 不 管 是 传感器 从 炼油 厂 采 集 的 数据 、 来 目 工厂 的 
机 器 数据 、 机 场 的 气象 数据 ， 还 是 沙井 爆炸 数据 都 不 包含 个 人 信息 。 有 英国 石 
油 公司 和 纽约 爱迪生 联合 电力 公司 不 需要 (也 不 想 要 ) 个 人 信息 ， 就 能 分 
析 挖 气 出 他 们 所 需要 的 数据 价值 。 事 实 上 ， 这 方面 的 数据 分 析 并 不 威胁 个 人 
隐私 。 


当然 ， 目 前 所 采集 的 大 部 分 数据 都 包含 有 个 人 信息 ， 而 且 存 在 看 各 种 各 
样 的 诱因 ， 让 我 们 想 尽 办 法 去 采集 更 多 、 和 存储 更 久 、 利 用 更 彻底 ， 其 至 有 的 
数据 表面 上 并 不 是 个 人 数据 ,但 是 经 由 大 数据 处 理 之 后 就 可 以 退 溯 到 个 人 了 。 


比方 说 ， 如 今 在 美国 和 欧洲 部 署 的 一 些 智能 电子 仪表 每 月 可 以 
收集 到 750~3 000 个 实时 数据 点 ， 这 上 比 过 去 所 有 传统 电子 仪表 收集 
到 的 数据 还 要 多 。 因 为 每 个 电子 设备 通电 时 都 会 有 自己 独特 的 “ 负 


190 


07. 风险 
让 数据 主 衬 一 切 的 隐忧 


荷 特征 ”， 比 如 热水器 不 同 于 电脑 ， 而 它们 与 Led 大 麻生 长 灯 Q 又 不 
一 样 ， 所 以 能 源 使 用 情况 就 能 暴露 诸如 一 个 人 的 日 常 习惯 、 医 疗 条 
件 和 非法 行为 这 样 的 个 人 信息 。 


然而 ， 我 们 要 探讨 的 主要 是 大 数据 是 否 改变 了 这 种 威胁 的 性 质 ， 而 不 是 
是 否 加 剧 了 这 种 威胁 。 如 果 仅 仅 是 加 剧 了 这 种 威胁 ， 那 么 我 们 现在 采用 的 保 
护 隐 私 的 法 律 法 规 依 然 是 有 效 的 ， 我 们 只 需要 付出 加 倍 的 努力 来 确保 这 种 有 
效 性 就 可 以 。 然 而 ， 倘 吞 威胁 的 性 质 已 经 改变 了 ， 我 们 就 需要 寻求 新 的 解决 
方案 。 


不 幸 的 是 ,我们 的 担忧 一 语 中 的 。 大 数据 的 价值 不 再 单纯 来 源 于 它 的 基 
本 用 途 ， 而 更 多 源 于 它 的 二 次 利用 。 这 就 颠覆 了 当下 隐私 保护 法 以 个 人 为 中 
心 的 思想 : 数据 收集 者 必须 告知 个 人 ， 他 们 收集 了 哪些 数据 、 作 何 用 途 ， 也 
必须 在 收集 工作 开始 之 前 征 得 个 人 的 同意 。 虽 然 这 不 是 进行 合法 数据 收集 的 
唯一 方式 ，“ 告 知 与 许可 ”已 经 是 世界 各 地 执行 隐私 政策 的 共识 性 基础 (虽然 
实际 上 很 多 的 隐私 声明 都 没有 达到 效果 ， 但 那 是 另 一 回 事 )。 


更 重要 的 是 ， 大 数据 时 代 ， 很 多 数据 在 收集 的 时 候 并 无 意 用 作 其 他 用 途 ， 
而 最 终 却 产生 了 很 多 创新 性 的 用 途 。 所 以 ， 公 司 无 法 告知 个 人 尚未 想到 的 用 
途 ， 而 个 人 亦 无 法 同意 这 种 尚 是 未 知 的 用 途 。 但 是 只 要 没有 得 到 许可 ,任何 
包含 个 人 信息 的 大 数据 分 析 都 需要 向 个 人 征 得 同意 。 因 此 ， 如 果 谷 歌 要 使 用 
检索 词 预测 流感 的 话 ， 必 须 征 得 数 亿 用 户 的 同意 ， 这 简直 无 法 想象 。 就 算 没 
有 技术 障碍 ， 又 有 哪个 公司 能 负担 得 起 这 样 的 人 力 物 力 支出 呢 ? 


O ”这 是 一 种 植物 补 光 灯 ， 也 是 植物 生长 灯 的 一 种 ， 依 照 植物 生长 需要 太阳 光 的 规律 ， 代 替 太 
阳光 给 植物 提供 更 好 的 生长 发 育 环 境 。 一 一 编者 注 
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大 数据 时 代 
同样 ， 一 开始 的 时 候 就 要 用 户 同 意 所 有 可 能 的 用 途 ， 也 是 不 可 行 的 。 因 
为 这 样 一 来 ,，“ 告 知 与 许可 ”就 完全 没有 意义 了 。 大 数据 时 代 ， 告 知己 许可 这 
个 经 过 了 考验 并 且 可 信赖 的 基石 ， 要 人 么 太 狭 队 ， 限 制 了 大 数据 潜在 价值 的 挖 
据 ， 要 么 就 太空 泛 而 无 法 真正 地 保护 个 人 隐私 。 


同时 ， 想 在 大 数据 时 代 中 用 技术 方法 来 保护 隐私 也 是 天 方 夜 齐 。 如 果 所 
有 人 的 信息 本 来 都 已 经 在 数据 库 里 ， 那 么 有 意识 地 避免 某 些 信 息 就 是 此 地 无 
银 三 百 两 。 我 们 把 谷歌 街景 作为 一 个 例子 来 看 ， 谷 歌 的 图 像 采集 村 在 很 多 国 
家 采集 了 道路 和 房屋 的 图 像 (以 及 很 多 备 受 争议 的 数据 )。 但是， 德国 媒体 和 
民众 强烈 地 抗议 了 谷歌 的 行为 ， 因 为 民众 认为 这 些 图 片 会 帮助 及 帮 午 贼 选择 
有 利 可 图 的 目标 。 有 的 业主 不 希望 他 的 房屋 或 花园 出 现在 这 些 图 片上 ， 顶 痢 
巨大 的 压力 ， 谷 歌 同 意 将 他 们 的 房屋 或 花园 的 影像 模糊 化 。 但 是 这 种 模糊 化 
却 起 到 了 反作用 ， 因 为 你 可 以 在 街景 上 看 到 这 种 有 意识 的 模糊 化 ， 对 盗贼 来 
说 ， 这 又 是 一 个 此 地 无 银 三 百 两 的 例子 。 


另 一 条 技术 途径 在 大 部 分 情况 下 也 不 可 行 ， 那 就 是 匿名 化 。 匿 名 化 指 的 
是 让 所 有 能 揭示 个 人 情况 的 信息 都 不 出 现在 数据 集 里 ， 比 方 说 名 子 、 生 日 、 
住址 、 信 用 卡号 或 者 社会 保险 号 等 。 这 样 一 来 ， 这 些 数 据 就 可 以 在 被 分 析 和 
共享 的 同时 ， 不 会 威胁 到 任何 人 的 隐私 。 在 小 数据 时 代 这 样 确实 可 行 ， 但 是 
随 着 数据 量 和 种 类 的 增多 ， 大 数据 促进 了 数据 再 鉴定 。 


2006 年 8 月 ， 美 国 在 线 (AOL) 公布 了 大 量 的 旧 搜 索 查 询 数据 ， 本 意 是 
希望 研究 人 员 能 够 从 中 得 出 有 趣 的 见解 。 这 个 数据 库 是 由 从 3 月 1 日 到 5 月 
31 日 之 间 的 65.7 万 用 户 的 2 000 万 搜索 查询 记录 组 成 的 ， 整 个 数据 库 进行 过 
精心 的 匿名 化 一 一 用 户 名 称 和 地 址 等 个 人 信息 都 使 用 特殊 的 数字 符号 进行 了 
代替 。 这 样 ， 研 究 人 员 可 以 把 同一 个 人 的 所 有 搜索 查询 记录 联系 在 一 起 来 分 
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析 ， 而 并 不 包含 任何 个 人 信息 。 


尽管 如 此 ,《 纽 约 时 报 》 还 是 在 几 天 之 内 通过 把 “60 岁 的 单身 男性 ”~ “有 
益 健 康 的 茶叶 ”、“ 利 尔 本 的 园丁 ”等 搜索 记录 综合 分 析 考 虑 后 ， 发 现 数 据 库 
中 的 4 417 749 号 代表 的 是 佐治 亚 州 利 尔 本 的 一 个 62 4 FEI FE RES - ' 阿诺德 
(Thelma Arnold )。 当 记者 找到 她 家 的 时 候 ， 这 个 老人 惊叹 道 ,“ 天 呐 ! RA 
没 想到 一 直 有 人 在 监视 我 的 私人 生活 。 这 引起 了 公 慎 ， 最 终 美国 在 线 的 首席 
技术 官 和 另外 两 名 员工 都 被 开除 了 。 


事 隔 仅仅 两 个 月 之 后 ， 也 就 是 2006 年 10 H, DVD 租赁 商 奈 飞 公司 做 了 
一 件 差不多 的 事 ， 就 是 宣布 启动 “Netflix Prize” 算 法 竞赛 。 该 公司 公布 了 大 
ARÁ 50 万 用 户 的 一 亿 条 租赁 记录 ， 并 且 公 开 悬 赏 100 万 美金 ， 举 办 一 个 软 
件 设 计 大 赛 来 提高 他 们 的 电影 推荐 系统 的 准确 度 ， 胜 利 的 条 件 是 把 它们 提高 
10%。 同 样 ， 奈 飞 公 司 也 对 数据 进行 了 精心 的 匿名 化 处 理 。 然 而 还 是 被 一 个 
用 户 认 出 来 了 , 一 个 化 名 “无 名 氏 ” 的 未 出 柜 的 同性 恋 母 亲 起 诉 了 奈 飞 公司 ， 
她 来 自 保 守 的 美国 中 西部 。 


通过 把 妹 飞 公司 的 数据 与 其 他 公共 数据 进行 对 比分 析 ， 得 元 院 斯 大 
学 的 研究 人 员 很 快 发 现 ， 匿 名 用 户 进行 的 收视 率 排名 与 互联 网 电影 数据 库 
(IMDb ) 上 实名 用 户 所 排 的 是 匹配 的 。 


概括 地 说 ， 研 究 发 现 每 对 6 部 不 出 名 的 电影 。。 大 数据 的 力量 
进行 排序 ， 我 们 就 有 84% HRR TRALEE BIG DATA 
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公司 这 个 顾客 的 身份 。 而 如 果 我 们 知道 这 个 顾客 wrapmrevweue 
是 哪 天 进行 了 排序 的 话 ， 那 么 他 被 从 这 个 50 万 人 | 
的 数据 库 中 挑 出 来 的 概率 就 会 高 达 99%。 
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在 美国 在 线 的 案例 中 ， 我 们 被 我 们 所 搜索 的 内 容 出 卖 了 。 而 奈 飞 公司 的 
情况 则 是 因为 不 同 来 源 数据 的 结合 暴露 了 我 们 的 身份 。 这 两 种 情况 的 出 现 ， 
都 是 因为 公司 没有 意识 到 匿名 化 对 大 数据 的 无 效 性 。 而 出 现 这 种 无 效 性 则 是 
由 两 个 因素 引起 的 ， 一 是 我 们 收集 到 的 数据 越 来 越 多 ， 二 是 我 们 会 结合 越 来 
越 多 不 同 来 源 的 数据 。 


科罗拉多 大 学 的 法 学 教授 保罗 欧姆 (Paul Ohm )， 同 时 也 是 人 研究 去 匿名 
化 危害 的 专家 ， 认 为 针对 大 数据 的 去 匿名 化 ， 现 在 还 没有 很 好 的 办 法 。 毕 苋 ， 
只 要 有 足够 的 数据 ， 那 么 无 论 如 何者 做 不 到 完全 的 匿名 化 。 更 粳 的 是 ， 最 近 
的 研究 表明 ， 不 只 是 传统 数据 容易 受到 去 匿名 化 的 影响 ， 人 们 的 社交 关系 图 ， 
也 就 是 人 们 的 相互 联系 也 将 同 受 其 害 。 


在 大 数据 时 代 ， 不 管 是 告知 与 许可 、 模 糊 化 还 是 匿名 
化 ， 这 三 大 隐私 保护 策略 都 失效 了 。 如 今 很 多 用 尸 都 觉得 





各 
Will Transform How We Live, 


Work, and Think 自己 的 隐私 已 经 受到 了 威胁 ， 当 大 数据 变 得 更 为 普遍 的 时 


大 数据 洞察 候 ， 情 况 将 更 加 不 堪 设想 。 


与 25 年 之 前 的 民主 德国 相 比 ， 现 在 我 们 所 受 的 监控 没有 减少 ， 反 而 变 
得 越 来 越 容 易 、 严 密 以 及 低 成 本 。 采 集 个 人 数据 的 工具 就 隐藏 在 我 们 日 常生 
活 所 必 备 的 工具 当中 ， 比 如 网 页 和 智能 手机 应 用 程序 。 我 们 知道 大 多 数 的 汽 
车 中 都 装 了 一 个 “ 黑 盒子 ”一 一 用 来 监测 安全 气 宫 激 活 的 情况 ， 而 如 今 ， 一 
日 出 现 具有 和 争议 的 交通 案件 ， 这 个 黑 盒 子 所 采集 的 数据 就 可 以 在 法 庭 上 充当 
证 据 。 当 然 ， 如 果 企 业 采 集 数据 只 是 来 提高 绩效 ， 我 们 就 不 用 像 被 Stasi BIT 
那样 而 感到 那么 害怕 。 毕 竞 企 业 再 强大 ， 也 不 如 国家 强制 力 。 
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不 过 ， 即 使 它们 不 具备 国家 强制 力 ， 想 到 各 种 各 样 的 公司 在 我 们 不 知情 
的 情况 下 采集 了 我 们 日 稼 生活 方方面面 的 数据 ， 并 且 进 行 了 数据 共享 以 及 一 
些 我 们 未 知 的 运用 ， 这 还 是 很 恕 怖 的 。 对 大 数据 大 加 利用 的 不 只 是 私营 企业 ， 
政府 也 不 甘 落后 。 


据 《 华 盛 顿 邮 报 》2010 年 的 研究 表明 ， 美 国 国家 安全 局 每 天 
拦截 并 存储 的 电子 邮件 、 电 话 和 其 他 通信 记录 多 达 17 亿 条 。 前 美 
安 局 官员 威廉 . 宾 尼 (William Binney) 估计 政府 采集 的 美国 及 他 
国 公 民 的 通信 互动 记录 有 20 万 亿 次 之 多 ， 其 中 包括 谁 和 谁 通过 话 、 
发 过 电子 邮件 、 进 行 过 电汇 等 信息 。 为 了 和 弄 明白 这 所 有 的 数据 ， 美 
国 建立 了 让 大 的 数据 中 心 ， 其 中 美国 国家 安全 局 就 耗资 12 亿美 元 
在 犹他 州 的 威廉 姆 斯 堡 建立 了 一 个 。 


如 今 ， 不 册 只 是 负责 反恐 的 秘密 机 关 需 要 采集 更 多 的 数据 ， 所 有 的 政府 
部 门 都 需要 。 所 以 数据 采集 扩展 到 了 金融 交易 、 医 疗 记 录 和 facebook 状态 更 
新 等 各 个 领域 ,数据 量 之 巨 可 想 而 知 。 政 府 其 实处 理 不 了 这 么 多 数据 ， 那 为 
什么 要 费力 采集 呢 ? 


这 是 因为 在 大 数据 时 代 ， 监 控 的 方式 已 经 改变 了 。 过 去 ,调查 员 为 了 尺 
可 能 多 地 知道 媒 疑 人 的 信息 ， 需 要 把 鳄 色 夹 夹 到 电话 线 上 。 当 时 最 重要 的 是 
能 深入 调查 某 个 人 ， 而 现在 情况 不 一 样 了 ， 比 如 谷歌 和 facebook 的 理念 则 是 
人 就 是 社会 关系 、 网 上 互动 和 内 容 搜 索 的 共和 。 所 以 ,为 了 全 面 调查 一 个 人 ， 
调查 员 需 要 得 到 关于 这 个 人 的 最 广泛 的 信息 ， 不 仅 是 他 们 认识 的 人 ， 还 包括 
这 些 人 又 认识 哪些 人 等 。 过 去 的 技术 条 件 没 法 做 到 这 样 的 分 析 ， 但 是 今 非 童 
ET 


不 过 ， 虽 然 企 业 和 政府 拥有 的 这 种 采集 个 人 信息 的 能 力 ， 让 我 们 感到 很 
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困扰 ， 但 也 还 是 没有 大 数据 所 引起 的 另 一 个 新 问题 让 我 们 更 慌 慌 ， 那 就 是 用 
预测 来 判断 我 们 。 


预测 与 惩罚 ， 不 是 因为 “所 和 做 ”， 而 是 因为 “将 做 ” 


ARA > FEW (John Anderton ) 是 华盛顿 特区 警 局 预防 犯罪 组 的 负责 
人 。 这 是 特别 的 一 天 ， 早 上， 他 冲 进 了 住 在 郊区 的 霍华德 : 马克 斯 ( Howard 
Marks ) 的 家 中 并 逮捕 了 他 ， 后 者 打算 用 剪刀 刺杀 他 的 妻子 ， 因 为 他 发 现 他 
妻子 给 他 戴 了 “绿帽子 ”。 安 德 顿 又 防止 了 一 起 暴力 犯罪 的 发 生 。 他 大 声 说 ， 
“我 以 哥伦比亚 特区 预防 犯罪 科 的 名 义 隶 捕 你 ， 你 即将 在 今天 谋杀 你 的 妻子 萨 
拉 马克 斯 ( Sarah Marks )……: ”其 他 的 警察 开始 控制 霍华德 ， 霍 华 德 大 喊 
RIE, “我 什么 都 没有 做 啊 ! ” 


这 是 电影 《少数 派 报告 》( Minority Report) 开始 时 的 场景 ， 这 部 电影 描 
述 的 是 一 个 未 来 可 以 准确 预知 的 世界 ， 而 罪犯 在 实施 犯罪 前 就 已 受到 了 生 罚 。 
人 们 不 是 因为 所 做 而 受到 惩罚 ， 而 是 因为 将 做 ， 即 使 他 们 事实 上 并 没有 犯罪 。 
虽然 电影 中 预测 依靠 的 不 是 数据 分 析 ， 而 是 三 个 超自然 人 的 想象 ,但 是 《 少 
数 派 报告 》 所 描述 的 这 个 令 人 不 安 的 社会 正 是 不 受 限 制 的 大 数据 分 析 可 能 会 
导致 的 ， 罪责 的 判定 是 基于 对 个 人 未 来 行为 的 预测 。 


我 们 已 经 看 到 了 这 种 社会 模式 的 萌芽 。30 多 个 州 的 假释 委员 正 使 用 数据 
分 析 来 决定 是 释放 还 是 继续 监禁 某 人 。 越 来 越 多 的 美国 城市 ， 从 洛杉矶 的 部 
分 地 区 到 整个 里 士 满 〈 美 国 弗吉尼亚 州 首 府 )， 都 采用 了 “预测 警 务 ”( 也 就 
是 大 数据 分 析 ) 来 决定 哪些 街道 、 群 体 还 是 个 人 需要 更 严密 的 监控 ， 仅 仅 因 
为 算法 系统 指出 他 们 更 有 可 能 犯罪 。 
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在 孟菲斯 市 ， 一 个 名 为 “ 蔓 色 粉碎 ”“ 的 项 目 为 警 员 提供 情报 ， 
关于 哪些 地 方 更 容易 发 生 犯 罪 事件 ， 什 么 时 候 更 容易 还 到 罪犯 。 这 
个 系统 帮助 执法 部 门 更 好 地 分 配 其 有 限 的 资源 。 这 个 项 目 自 2006 
年 启动 以 来 ,一 菲 斯 的 重大 财产 和 暴力 犯罪 发 生 率 约 下 降 了 26% ( & 
然 这 与 这 个 项 目 不 一 定 有 因果 关系 )。 

在 里 士 满 市 的 另 一 个 项 目 中 ， 警 察 把 犯罪 数据 与 其 他 数据 相关 
联 ， 上 比方 说 市 里 的 大 公司 何 时 给 员工 发 工资 ， 当 地 举办 音乐 会 或 者 
运动 赛事 的 时 间 。 这 证 实 了 警方 对 犯罪 趋势 的 预测 ， 有 时 也 会 帮助 
警方 推算 出 更 准确 的 犯罪 趋势 。 例 如 ， 里 士 满 市 的 警察 一 直 党 得 在 
枪击 事件 之 后 会 出 现 一 个 犯罪 高 峰 期 ， 大 数据 证 明了 这 种 想法 ， 但 
是 也 发 现 了 一 个 漏洞 ， 即 高 峰 不 是 紧 随 枪击 事件 而 来 的 ， 而 是 两 个 
星期 之 后 才 会 出 现 。 


这 些 系统 通过 预测 来 预防 犯罪 ， 最 终 要 精准 到 谁 会 犯罪 这 个 级 别 。 这 
ERAGE AR. REPAIRS BAH Hie SLA Ree 
平 良和 困境 。 美 国 国土 安全 部 正在 研发 一 套 名 为 未 来 行为 检测 科技 《Future 
Attribute Screening Technology, ER FAST) 的 安全 系统 ， 通 过 监控 个 人 的 
生命 体征 、 肢 体 语言 和 其 他 生理 模式 ， 发 现 潜 在 的 您 怖 分 子 。 人 研 究 者 认为 ， 
通过 监控 人 类 的 行为 可 以 发 现 他 们 的 不 恨 意 图 。 美 国 国土 安全 部 声称 ， 在 人 研 
究 测 试 中 ， 系 统 检测 的 准确 度 可 以 达到 70%。( 测试 方法 并 不 可 知 ， 难 道 是 
要 志愿 者 假扮 恶 怖 分 子 ， 然 后 看 看 系统 是 否 能 发 现 他 们 的 不 良 意图 吗 ? ) 尽 
管 这 些 研 究 还 处 于 早期 阶段 ， 执 法 者 和 监管 部 门 还 是 对 其 给 予 了 高 度 重视 。 


我 们 可 以 用 大 数据 来 预防 犯罪 ， 听 起 来 真 不 错 。 毕 竞 在 犯罪 发 生 之 前 及 


@ Blue CRUSH, 来自 Crime Reduction Utilizing Statistical History 的 缩写 ， 意 为 利用 统计 历史 
减少 犯罪 。 一 一 作者 注 
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时 制止 比 事 后 再 惩罚 要 好 得 多 ， 不 是 吗 ? 因为 我 们 避免 了 犯罪 的 发 生 ， 也 就 
挽救 了 可 能 被 伤害 的 人 ， 同 时 社会 整体 也 受益 了 。 


但 是 这 很 危险 ， 因 为 如 果 我 们 可 以 用 大 数据 来 预防 犯罪 ,我 们 就 可 能 会 
想 进 一 步 惩罚 这 个 未 来 的 罪犯 。 这 也 是 符合 逻辑 的 ， 因 为 我 们 会 觉得 如 果 只 是 
阻止 了 他 的 犯罪 行为 而 不 采取 惩罚 措施 的 话 ， 他 就 可 能 因为 不 受 损失 而 再 次 犯 
JE; 如 果 我 们 因为 他 未 实施 的 犯罪 行为 而 惩罚 他 的 话 ， 可 能 就 会 威慑 到 他 。 


基于 预测 基础 上 的 惩罚 似乎 也 是 我 们 现在 惯 行 方法 的 一 种 提升 。 现 代 社 
会 是 建立 在 预防 不 健康 、 和 危险 和 非法 行为 基础 上 的 。 我 们 为 了 预防 肺癌 而 减 
少 吸 烟 率 ; 为 了 避免 在 车 祸 中 死亡 而 系 安全 带 ; 为 了 避免 被 动机 而 不 允许 带 
枪 文登 机 ， 所 有 这 些 预 防 措施 都 限制 了 我 们 的 自由 ,但 是 我 们 愿意 为 了 防止 
更 大 的 灾难 而 做 出 适当 的 牺牲 。 


大 多 数 情况 下 ， 我 们 已 经 在 以 预测 之 名 采用 大 数据 分 析 。 它 把 我 们 放 在 
一 个 特定 的 人 群 之 中 来 对 我 们 进行 界定 。 保 险 精 算 表 上 指出 ， 超 过 50 岁 的 男 
性 更 容易 患 前 列 腺 况 ， 所 以 你 如 有 果 不 幸 正 好 处 于 这 个 年 龄 段 ， 就 需要 支付 更 
多 的 保险 费用 ， 即 使 你 根本 就 没 得 过 这 个 病 。 没 有 高 中 文凭 的 人 更 容易 偿还 
不 起 俐 务 ， 所 以 如 采 你 没有 高 中 文凭 ， 就 可 能 贷 不 到 款 或 者 必须 支付 更 高 的 
保险 费 。 有 的 人 在 过 安检 的 时 候 ， 可 能 会 需要 进行 额外 的 检查 ， 仅 仅 是 因为 
他 市 有 茶 种 特定 的 特征 。 


这 都 是 如 今 的 小 数据 时 代 所 采用 的 “画像 ”背后 的 指导 思想 。 在 一 个 数 
据 库 中 找到 普遍 联系 ， 然 后 对 适用 于 这 种 普遍 联系 的 个 人 深入 勘察 。 这 适用 
于 团体 内 的 每 个 人 ， 是 一 条 普遍 规则 。 当 然 ,“ 画 像 ” 意 义 颇 多 ， 不 只 意味 着 
对 一 个 特定 群体 的 区 分 ， 而 且 指 “牵连 犯罪 ”， 不 过 这 是 一 种 滥用 ， 所 以 “ 画 
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像 ” 有 严重 的 缺陷 。 


大 数据 蔡 我 们 规避 了 “画像 ”的 缺陷 ， 因 为 大 数据 区 
分 的 是 个 人 而 不 是 群体 ， 所 以 我 们 不 会 再 通过 “牵连 犯罪 ” 
给 群体 中 的 每 个 人 都 定罪 。 如 今 ， 一 个 用 现金 购买 头等 航 





A Revolution That 


Will Transform How We Live, | 单程 票 的 阿拉 伯 人 不 会 再 被 认为 是 恐怖 分 子 而 接受 额外 的 
大 数据 洞察 检查 ， 只 要 他 身上 的 其 他 数据 表明 他 基本 没有 恺 怖 主义 代 


向 。 因 此 ， 大 数据 通过 给 予 我 们 关于 个 人 自身 更 详尽 的 数 
据 信息 ， 帮 有 我们 规避 了 “画像 ”的 缺陷 一 一 直接 将 群体 特 
征 强 加 于 个 人 。 


其 实 ， 我 们 一 下 在 用 “画像 ”来 帮助 我 们 确定 个 人 的 罪责 ， 大 数据 所 
做 的 并 没有 本 质 的 差别 ， 只 是 让 这 种 方法 更 完善 、 更 精准 、 更 具体 和 更 个 人 
化 。 因 此 ， 如 采 大 数据 预测 只 是 帮助 我 们 预防 不 恨 行为 ， 我 们 似乎 是 可 以 接 
受 的 。 但 是 ， 倘 奢 我 们 使 用 大 数据 预测 来 判定 某 人 有 罪 并 对 其 尚未 实施 的 行 
为 进行 惩 刊 ， 就 可 能 让 我 们 陷入 一 个 危险 的 境地 。 


基于 未 来 可 能 行为 之 上 的 惩 昼 是 对 公平 正义 的 讲 注 ， 因 为 公平 正义 的 基 
础 是 人 只 有 做 了 茶 事 才 需 要 对 它 负责 。 毕 竟 ， 想 做 而 未 做 不 是 犯罪 。 社 会 关 
于 个 人 责任 的 基本 信条 是 ， 人 为 其 选择 的 行为 承担 责任 。 如 果 有 人 在 被 别人 
用 枪 威胁 的 情 次 下 打开 了 公司 的 保险 柜 ， 他 并 不 需要 承担 责任 ， 因 为 他 别 无 
选择 。 


如 采 大 数据 分 析 完 全 准确 ， 那 么 我 们 的 未 来 会 被 精准 地 预测 ， 因 此 在 未 
来 ， 我 们 不 仅 会 失去 选择 的 权利 ， 而 且 会 按照 预测 去 行动 。 如 果 精 准 的 预测 


成 为 现实 的 话 ， 我 们 也 就 失去 了 上 自由 意志 ， 失 去 了 自由 选择 生活 的 权利 。 既 
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然 我 们 别 无 选择 ， 那 么 我 们 也 就 不 需要 承担 责任 ， 这 不 是 很 讽刺 吗 ? 


当然 ， 精 准 的 预测 是 不 现实 的 。 大 数据 分 析 只 能 预测 一 个 人 未 来 很 有 可 
能 进行 的 行为 。 

比方 说 ， 宾 夕 法 尼 亚 大 学 教授 理 查 德 . 伯 克 (Richard Berk) 建 
立 了 一 个 大 数据 模型 ， 他 上 声称 这 个 模型 可 以 预测 一 个 判 缓刑 或 者 假 
释 的 人 一 旦 提前 释放 会 不 会 再 次 杀人 。 他 输入 了 海量 的 特定 案件 变 
量 ， 包 括 监禁 的 原因 、 首 次 犯罪 的 时 间 、 年 龄 、 性 别 等 个 人 数据 。 
伯 克 说 他 的 模型 对 未 来 行为 预测 的 准确 率 可 以 达到 75%。 这 听 起 来 
似乎 还 不 错 。 但 是 ， 这 也 意味 着 如 果 假 释 委 员 会 依靠 他 的 分 析 ， 就 
会 在 每 4 个 人 中 出 现 一 次 失误 。 


但 是 ， 主 要 的 问题 并 不 是 出 在 社会 需要 面 对 更 多 威胁 上 ， 而 是 我 们 在 
人 们 真正 犯罪 之 前 对 他 进行 惩罚 否定 了 人 的 自由 权利 。 我 们 永远 不 会 知道 这 
个 受 惩罚 的 人 是 否 会 真正 犯罪 ， 因 为 我 们 已 经 通过 预测 预先 制止 了 这 种 行 
为 ， 如 此 一 来 ， 我 们 就 没有 让 他 按照 他 的 意愿 去 做 ， 但 是 我 们 却 依然 坚持 他 
该 为 自己 尚未 实施 的 未 来 行为 付出 代价 ， 而 我 们 的 预测 也 永远 无 法 得 到 
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这 否定 了 法 律 系统 或 者 说 我 们 的 公平 意识 的 基石 一 一 无 罪 推 定 原 则 。 因 
为 我 们 被 追究 责任 ， 居 然 是 为 了 我 们 可 能 永远 都 不 会 实施 的 行为 。 对 预测 到 
的 未 来 行为 判 罪 也 否认 了 我 们 进行 道德 选择 的 能 力 。 


大 数据 预测 给 我 们 带 来 的 威胁 ,不 仅仅 局 限于 司法 公正 上 ， 它 还 会 威胁 
到 任何 运用 大 数据 预测 对 我 们 的 未 来 行为 进行 罪责 判定 的 领域 ， 比 如 民事 法 
庭 案 件 中 判定 过 失 以 及 公司 解 座 员 工 的 决策 。 
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` = ences NS k 
RIG DATA 也 许 ， 大 数据 预测 可 以 为 我 们 打造 一 个 更 安全 、 更 
A Revolution That 高 效 的 社会 y 但 是 却 否 定 了 我 们 之 所 以 为 人 的 重要 组 成 部 
Wit Transform How We Live. 
Work, and Think 分 一 一 自由 选择 的 能 力 和 行为 责任 自负 。 大 数据 成 为 了 集 
大 数据 洞察 体 选择 的 工具 ， 但 也 放弃 了 我 们 的 自由 意志 。 


大 数据 的 不 利 影响 并 不 是 大 数据 本 身 的 缺陷 ， 而 是 我 
们 滥用 大 数据 预测 所 导致 的 结果 。 大 数据 预测 是 建立 在 相 
关 性 基础 上 的 。 让 人 们 为 还 未 实施 的 未 来 行为 买单 是 市 来 
不 利 影响 的 主要 原因 ， 因 为 我 们 把 个 人 罪责 判定 建立 在 大 
数据 预测 的 基础 上 是 不 合理 的 。 


大 数据 有 利于 我 们 理解 现在 和 预见 未 来 的 风险 ， 如 此 一 来 ， 我们 就 可 
以 相对 应 地 做 出 应 对 措施 。 大 数据 预测 可 以 帮助 患者 、 保 险 公 司 、 银 行 和 顾 
客 , 但 是 大 数据 不 能 告诉 我 们 因果 关系 。 相 对 地 ， 进 行 个 人 罪责 推定 需要 行 
为 人 选择 某 种 特定 的 行为 ， 他 的 选择 是 造成 这 个 行为 的 原因 。 但 大 数据 并 不 
是 建立 在 因果 关系 基础 上 的 ， 所 以 它 完全 不 应 该 用 来 帮助 我 们 进行 个 人 罪责 
推定 。 


腑 烦 的 是 ， 人 们 习惯 性 地 从 因果 关系 的 视角 来 理解 世界 。 因 此 ， 大 数据 
总 是 锌 滥用 于 因 采 分 析 ， 而 且 我 们 往往 非常 乐观 地 认为 ， 只 要 有 了 大 数据 预 
测 的 帮助 ， 我 们 进行 个 人 罪责 判定 就 会 更 高 效 。 

这 是 一 个 典型 的 滑坡 ， 可 能 直接 导致 《少数 派 报告 》 中 的 情况 成 为 现 
实 一 一 我 们 将 生活 在 一 个 没有 独立 选择 和 自由 意志 的 社会 ， 在 这 里 我 们 的 道 
德 指标 将 被 预测 系统 所 取代 ， 个 人 一 直 受 到 集体 意志 的 冲击 。 简 单 地 说 ， 如 
末 一 切 都 成 为 现实 ， 大 数据 就 会 把 我 们 禁 铀 在 可 能 性 之 中 。 
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数据 独裁 


大 数据 大 大 地 威胁 到 了 我 们 的 隐私 和 自由 ， 这 都 是 大 数据 市 来 的 新 威胁 。 
但 是 与 此 同时 ， 它 也 加 剧 了 一 个 旧 威 胁 : 过 于 依赖 数据 ， 而 数据 远 远 没有 我 
们 所 想 的 那么 可 靠 。 要 揭示 大 数据 分 析 的 不 可 靠 性 ， 式 怕 没 有 比 罗 人 特 ' 考 
克 纳 马 拉 ( Robert McNamara) 的 例子 更 贴切 的 了 。 


麦克 纳 马 拉 是 一 个 执 迷 于 数据 的 人 。20 世纪 60 年 代 早 期 ， 在 越南 局 努 
变 得 紧张 的 时 候 ， 他 被 任命 为 美国 国防 部 长 。 任 何事 情 ， 只 要 可 以 ， 他 都 会 
执意 得 到 数据 。 他 认为 ， 只 有 运用 严谨 的 统计 数据 ， 决 策 者 才能 真正 理解 复 
杂 的 事态 并 做 出 正确 的 决定 。 他 眼中 的 世界 就 是 一 堆 先 殊 不 驯 的 信息 的 总 和 |， 
一 且 划 定 、 命 名 、 区 分 和 量化 之 后 ， 就 能 被 人 类 驯服 并 加 以 利用 。 麦 死 纳 己 
拉 追 求 真理 ， 而 数据 恰好 能 揭示 真理 。 他 所 擎 握 的 数据 中 有 一 份 融 是 “死亡 
名 单 。 


麦克 纳 马 拉 对 数字 的 执 迷 从 年 轻 的 时 候 就 开始 了 ， 当 时 他 还 是 哈佛 商学 
院 的 学 生 ， 后 来 ， 他 以 24 岁 的 年 纪 成 为 了 最 年 轻 的 副教授 。 第 二 次 世界 大 战 
期 间 ， 他 把 这 种 严密 的 数字 意识 运用 到 了 工作 之 中 ， 当 时 他 是 五 角 大 楼 里 被 
称 为 “统计 控制 队 ” 中 的 一 名 精英 ， 这 个 队伍 让 世界 权力 的 中 心 人 物 都 开始 
SERGE TARR, TEX ZA, BABB A. Wb, EMRE KHL 
备用 零件 的 种 类 、 数 量 和 放置 位 置 。1943 年 制作 的 综合 清单 为 部 队 节 省 了 36 
亿美 元 。 现 代 战 争 需要 资源 的 合理 分 配 ， 他 们 所 做 的 非常 了 不 起 。 


战争 结束 的 时 候 ， 他 们 决定 通力 合作 拯救 濒临 倒闭 的 福特 汽车 公司 。 福 
特 二 世 (Henry Ford I) 绝望 地 交 出 了 自己 的 控制 权 。 就 像 他 们 投入 战争 的 
时 候 完 全 不 懂 军 事 一 样 ， 这 一 次 ， 他 们 也 不 关心 如 何 制 作 汽 车 。 但 是 奇妙 的 
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是 ， 这 群 精 明 小 子 居然 救 活 了 福特 公司 。 


麦克 纳 马 拉 对 数据 的 执 迷 迅 速 升温 ， 开 始 凡 事 都 考虑 数据 集 。 工 厂 经 理 
迅速 地 生成 麦克 纳 马 拉 所 要 求 的 数字 ， NETS. PLE IA Se AY A A 
只 有 在 存货 用 完 之 后 才能 生产 新 车 型 ， 愤 怒 的 生产 线 经 理 们 一 股 脑 将 剩余 的 
零件 全 部 倒 进 了 附近 的 河 里 。 当 前 线 员工 把 数据 返回 的 时 候 ， 总 部 的 高 管 们 
都 满意 地 点 了 点 头 ， 因 为 规定 执行 得 很 到 位 。 但 是 工厂 里 盛行 一 个 实话， 是 
说 河面 上 可 以 走 人 了 ， 因 为 河 里 有 很 多 1950 年 或 者 1951 年 生产 的 本 型 的 零 
件 ， 在 河面 上 走 就 是 在 生 锈 的 零件 上 走 。 


麦克 纳 马 拉 是 典型 的 20 世纪 经 理 人 ， 完 全 依赖 数字 而 非 感情 的 理智 型 
高 管 ， 他 可 以 把 他 的 数控 理论 运用 到 任何 领域 。1960 年 ， 它 被 任命 为 福特 汽 
车 公司 的 总 裁 ， 在 位 只 有 几 周 ， 他 就 被 肯尼迪 总 统 任命 为 美国 国防 部 部 长 了 。 


随 着 越战 升级 和 美军 加 派 部 队 ， 这 变 成 了 一 场 意志 之 战 而 非 领 土 之 争 。 
美军 的 策略 是 逼迫 越 共 走 上 谈判 桌 。 于 是 ， 评 判 战争 进度 的 方法 就 是 看 对 方 
的 死亡 人 数 。 每 天 报纸 都 会 公开 死亡 人 数 。 文 持 战争 的 人 把 这 作为 战争 胜利 
的 标志 ， 反 战 的 人 把 它 作 为 道德 沦丧 的 证 据 。 和 死亡 人 数 是 代表 了 一 个 时 代 的 
数据 集 。 


1977 年 ,一 架 直 升 机 从 西贡 的 美国 大 使 馆 屋 项 上 撤离 了 最 后 一 批 美 国 公 
民 。 两 年 之 后 , 一 位 退休 的 将 军 道格拉斯 : 金 纳 德 ( Douglas Kinnard ) 发 表 了 
《战争 管理 者 》( The War Managers )。 这 是 一 个 关于 将 盏 们 对 越战 看 法 的 里 程 
碑 似 的 调查 。 它 揭露 了 量化 的 困境 。 仅 仅 只 有 2% 的 美国 将 军 们 认为 用 死亡 
人 数 衡量 战争 成 果 是 有 意义 的 ; 三 分 之 二 的 人 认为 大 部 分 情况 下 数据 都 被 亏 
KIo 一 个 将 军 评论 称 ，“ 那 都 是 假 的 ， 完 全 没有 意义 ”; 为 一 个 说 考 ，“ 公 开 
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flies 还 有 一 个 将 军 则 认为 是 像 麦克 纳 马 拉 这 样 的 人 表现 出 了 对 数据 的 极 大 
热忱 ， 导 致 很 多 部 门 一 层 一 层 地 将 数字 扩大 化 了 。 


束 像 福特 的 员工 将 零件 投入 河中 一 样 ,， 下 级 军官 为 了 达成 命令 或 者 升官 ， 
会 汇报 可 观 的 数字 给 他 们 的 上 级 ， 只 要 那 是 他 们 的 上 级 希望 听 到 的 数字 。 雪 
殉 纳 马 拉 和 他 身边 的 人 都 依赖 并 且 执 迷 于 数据 ， 他 认为 只 有 通过 电子 表格 上 
有 序 的 行 、 列 、 计 算 和 图 表 才 能 真正 了 解 战场 上 发 生 了 什么 。 他 认为 掌握 了 
数据 ， 也 就 进一步 接近 了 真理 (上帝 )。 


美国 军 方 在 越战 时 对 数据 的 使 用 、 混 用 和 误 用 给 我 们 
提 了 一 个 醒 ， 在 由 “小 数据 ”时 代 向 大 数据 时 代 转 变 的 过 
程 中 ， 我 们 对 信息 的 一 些 局 限 性 必须 给 予 高 度 的 重视 。 数 





A Revolution That 
Will Transform How We Live 


Work, and Think | 据 的 质量 可 能 会 很 差 ; 可 能 是 不 客观 的 ; 可 能 存在 分 析 错 
大 数据 洞察 误 或 者 具有 误导 性 ; 更 糟糕 的 是 ， 数 据 可 能 根本 达 不 到 量 
化 它 的 目的 。 


我 们 比 想 象 中 更 容易 受到 数据 的 统治 一 一 让 数据 以 良 
劳 参 半 的 方式 统治 我 们 。 其 威胁 就 是 ， 我 们 可 能 会 完全 受 
限于 我 们 的 分 析 结果 ,即使 这 个 结果 理应 受到 质疑 。 或 者 说 ， 
我 们 会 形成 一 种 对 数据 的 执 迷 ， 因 而 仅仅 为 了 收集 数据 而 
收集 数据 ， 或 者 赋予 数据 根本 无 权 得 到 的 信任 。 


随 看 越 来 越 多 的 事物 被 数据 化 ， 决 策 者 和 商人 所 做 的 第 一 件 事 就 是 得 到 
更 多 的 数据 。 我 们 相信 上 帝 ， 除 了 上 帝 ， 其 他 任何 人 都 必须 用 数据 说 话 。 
这 征 现 代 经 理 人 的 信仰 ， 也 回响 在 硅谷 的 办 公 室 、 工 厂 和 市 政 厅 的 门廊 里 。 
善 加 利用 ， 这 是 极 好 的 事情 ,但 是 一 旦 出 现 不 合理 利用 ， 后 果 将 不 堪 设 想 。 
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教育 似乎 在 走 下 坡 路 ? 用 标准 化 测试 来 检验 学 生 的 表现 和 评定 对 老师 或 
学 校 的 奖惩 是 不 合理 的 。 考 试 是 否 能 全 面 展示 一 个 学 生 的 能 力 ? 是 否 能 有 效 
检测 教学 质量 ? 是 否 能 反映 出 一 个 有 创造 力 、 适 应 能 力 强 的 现代 师资 队伍 所 
需要 的 品质 ?这 些 都 饱 受 争议 , 但 是 ， 数 据 不 会 承认 这 些 问 题 的 存在 。 


如 何 防止 恕 怖 主义 ? 创造 一 层 层 的 禁 飞 名 单 、 阻 止 任何 与 怒 怖 主义 有 关 
的 个 人 搭乘 飞机 ， 这 真 的 有 用 吗 ? 回 答 是 : 值得 怀疑 。 想 想 那 件 非常 出 名 的 
事情 ， 马 院 诸 塞 州 参议 员 特 德 . 肯尼迪 〈Ted Kennedy) 不 就 因为 仅仅 与 该 数 
据 库 中 的 一 个 人 名 字 相 同 而 被 诱捕 、 拘 留 并 且 调查 了 吗 ? 


与 数据 为 伴 的 人 可 以 用 一 句 话 来 概括 这 些 问 题 ,“ 错 误 的 前 提 导 致 错误 
的 结论 。 有 时 候 ， 是 因为 隐 含 信息 存在 错误 ; 但 在 大 部 分 情况 下 ， 是 因为 我 
们 误 用 了 数据 分 析 结 果 。 大 数据 要 么 会 让 这 些 问题 高 频 出 现 ， 要 么 会 加 剧 这 
些 问 题 寻 致 的 不 恨 后 有 果 。 


我 们 在 书 中 人 举 过 无 数 谷歌 的 例子 ， 我 们 明日 它 的 一 切 运作 都 是 基于 数据 
基础 之 上 的 。 很 明显 ， 它 大 部 分 的 成 功 都 是 数据 造就 的 ， 但 是 偶尔 谷歌 也 会 
因为 数据 栽 跟 头 。 


谷歌 公司 的 创始 人 拉 里 . 佩 奇 和 谢 尔 盖 ' 布 林 一 直 强 调 要 得 到 每 个 应 聘 者 
申请 大 学 时 的 SAT 成 绩 以 及 大 学 毕业 时 的 平均 绩 点 。 他 们 认为 ， 前 者 能 彰显 
HE, Jaa PL RO. A, 440 多 岁 、 成 绩 斐 然 的 经 理 人 在 应 聘 时 被 问 
到 大 学 成 绩 的 时 候 ， 就 完全 无 法 理解 这 种 要 求 。 尽 管 公司 内 部 研究 早 就 表明 ， 
工作 表现 和 这 些 分 数 根本 没有 关系 ， 谷 歌 依然 冥 顽 不 化 。 


谷歌 本 应 该 懂得 抵制 数据 的 独裁 。 考 试 结果 可 能 一 生 都 不 会 改变 。 但 
是 它 并 不 能 测试 出 一 个 人 的 知识 深度 ， 也 展示 不 出 一 个 人 的 人 文 素养 ， 学 习 
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技能 除外 ， 科 学 和 工程 知识 才 是 更 适合 考量 的 。 谷 歌 在 招聘 人 才 方 面 如 此 依 
赖 数据 让 人 很 是 费解 ， 要 知道 ， 它 的 创始 人 可 是 来 自 于 注重 学 习 而 非 分 数 的 
索 人 台 梭 利 学 校 。 合 歌 就 是 在 重 蹈 前 人 和 覆 办 ， 过 去 美国 的 科技 巨头 们 也 把 个 人 
简历 看 得 比 个 人 能 力 重 要 。 如 有 果 按 谷歌 的 做 法 ， 其 创始 人 都 没有 资格 成 为 传 
奇 性 的 贝尔 实验 室 的 经 理 ， 因 为 他 们 都 在 博士 阶段 辍学 了 ; 比尔 XMS 
克 ' 扎 到 但 格 也 都 会 被 淘汰 ， 因 为 他 们 都 没有 大 学 文凭 。 


谷歌 对 数据 的 依赖 有 时 太 邯 张 了 了。 玛丽 莎 : 梅 耶 尔 (Marissa Mayer ) 曾 
任 谷歌 高 管 职位 ， 居 然 要 求 员工 测 试 41 种 蓝 色 的 阴影 效果 中 ， 哪 种 被 人 们 使 
用 最 频 楷 ， 从 而 决定 网 页 工具 栏 的 颜色 。 人 谷歌 的 数据 独裁 就 是 这 样 达到 了 项 
峰 ， 同 时 也 激 起 了 反抗 。 


2009 年 ， 谷 歌 首席 设计 师 道 格 - 8 (Doug Bowman ) 因为 受 不 了 随时 
随地 的 量化 ， 怖 然 离职 。 最近， 我们 竟然 争辩 边框 是 用 3、4 还 是 5 倍 像素 ， 
我 居然 被 要 求证 明 我 的 选择 的 正确 性 。 天 呐 ! 我 没 办 法 在 这 样 的 环境 中 工 
作 ,” 她 离职 后 在 博客 上 面 大 发 牢骚 , “谷歌 完 全 是 工程 师 的 天 下 ， 所 以 只 会 
用 工程 师 的 观点 解决 问题 一 一 把 所 有 决策 简化 成 一 个 逻辑 问题 。 数 据 成 为 了 
一 切 决 策 的 主 宣 ， 束 缚 住 了 整个 公司 。 


其 实 ， 卓 越 的 才华 并 不 依赖 于 数据 。 史 带 夫 … 硕 布 斯 多 年 来 持续 不 断 地 
改善 Mac 笔记 本 ,依赖 的 可 能 是 行业 分 析 , 但 是 他 发 行 的 iPod、iPhone 和 
iPad 靠 的 就 不 是 数据 ， 而 是 直觉 一 一 他 依赖 于 他 的 第 六 感 。 当 记者 问 及 乔 布 
斯 苹果 推出 iPad 之 前 做 了 多 少 市 场 调研 时 ,他 那个 闭 名 的 回 窜 是 这 样 的 :“ 没 
做 ! 消费 者 没 义 务 去 了 解 目 己 想 要 什么 。 


詹姆斯 斯 科 特 ( James Scott) 教授 是 耶鲁 大 学 政治 学 和 人 类 学 教授 , 他 
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在 《国家 的 视角 》( Seeing Like a State) 一 书 中 记录 了 政府 如 何 因为 它们 对 量 
化 和 数据 的 言 目 崇尚 而 陷 人 民 的 生活 于 水 深 火 热 之 中 。 


它们 使 用 地 图 来 确定 社区 重建 ， 却 完全 不 知道 其 中 民众 的 生活 状态 。 它 
们 使 用 大 量 的 农 收 数据 决定 采取 集体 农庄 的 方式 但 是 它们 完全 不 懂 农 业 。 它 
们 把 所 有 人 们 一 直 以 来 用 之 交流 的 不 健全 和 系统 的 方式 按照 自己 的 需求 进行 
改造 ， 只 是 为 了 满足 可 量化 规则 的 需要 。 在 斯 科 特 看 来 ， 大 数据 使 用 成 了 权 
TAR o 


这 是 数据 独裁 放大 了 的 写照 。 同 样 ， 也 是 这 种 自 大 导致 美国 基于 死亡 人 
数 而 不 是 更 理智 的 衡量 标准 来 扩大 越南 战争 的 规模 。1976 年 ， 在 日 益 剧 增 的 
国内 压力 下 ,麦克 纳 马 拉 在 一 次 演讲 中 说 道 ,“ 事 实 上 ， 真 的 不 是 每 一 个 复杂 
的 人 类 情况 都 能 简化 为 曲线 图 上 的 线条 、 图 表 上 的 百分点 或 者 资产 负债 表 上 
的 数字 。 但 是 如 果 不 对 可 量化 的 事物 进行 量化 ， 我 们 就 会 失去 全 面 了 解 该 事 
物 的 机 会 。” 只 要 得 到 了 合理 的 利用 ， 而 不 单纯 只 是 为 了 “数据 ”而 “数据 ”， 
大 数据 就 会 变 成 强大 的 武器 。 


20 世纪 70 年 代 ， 有 罗伯特 麦克 纳 马 拉 一 直 担 任 世界 银行 行 长 。20 世纪 
80 年代， 他 们 然 变 成 了 和 平 的 象征 。 他 为 反 核 武器 和 环境 保护 摇 旗 呐喊 。 然 
后 ， 他 经 历 了 一 次 思想 的 转变 并 且 出 版 了 一 本 回忆 录 《 回 顾 : 越战 的 悲剧 与 
教训 | ) (In Retrospect: The Tragedy and Lessons of Vietnam )， 书 中 批判 了 战争 
的 错误 指导 思想 并 承认 了 他 当年 的 行为 “非常 错误 ”， 他 写 道 ,“ 我 们 错 了 ， 
大 错 特 错 ! ”但 书 中 还 是 只 承认 了 战争 的 整体 策略 的 错误 ， 并 未 具体 表示 出 
对 数据 和 “和 死亡 人 数 ” 进 行 饱含 感情 的 慎 悔 。 他 承认 统计 数据 具有 “误导 或 
者 迷惑 性 ”,“ 但 是 对 于 你 能 计算 的 事情 ， 你 应 该 计算 ; 死亡 数 就 属于 应 该 计 
算 的 ……: ”2009 F, FE 93 岁 的 麦克 纳 马 拉 去 世 ， 他 被 认为 是 一 个 聪明 却 
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大 数据 诱 使 我 们 犯 下 罗伯特 : 麦克 纳 马 拉 所 犯 的 罪行 ， 也 让 我 们 盲目 信 
任 数 据 的 力量 和 潜能 而 忽略 了 它 的 局 限 性 。 把 大 数据 等 同 于 死亡 人 数 ， 我 们 
只 需要 想 想 上 文 提 到 的 谷歌 流感 趋势 。 设 想 一 下 致命 的 流感 正 肆 虐 全 国 ， 当 
然 这 并 不 是 完全 不 可 能 出 现 的 ; 医学 专家 们 会 非常 感激 通过 检索 词 条 ， 我 们 
能 够 实时 预测 流感 重 灾 地 ， 他 们 也 就 能 及 时 去 到 最 需要 他 们 的 地 方 。 


但 是 在 危急 时 刻 ， 政 府 领导 可 能 会 认为 只 知道 哪里 流感 疫情 最 严重 还 远 
远 不 够 ; 如 果 试 图 抑制 流感 的 传播 ， 就 需要 更 多 的 数据 。 所 以 他 们 呼吁 大 规 
模 的 隔离 ， 当 然 不 是 说 隔离 这 个 地 区 的 所 有 人 ， 这 样 既 无 必要 也 太 费 事 。 大 
数据 能 给 我 们 更 精确 的 信息 ， 所 以 我 们 只 需 隔离 搜索 了 和 流感 有 最 直接 关系 
NA. Wk, 我们 有 了 需要 隔离 的 人 的 数据 ， 联 邦 特工 只 需 通 过 IP 地 址 和 移 
动 GPS 提供 的 数据 ， 找 出 该 用 户 并 送 入 隔离 中 心 。 

我 们 可 能 觉得 ， 这 种 做 法 很 合理 ,但 是 事实 上 ， 这 是 完全 错误 的 。 相 关 
性 并 不 意味 着 有 因果 关系 。 通 过 这 种 方式 找 出 的 人 ， 可 能 根本 就 没有 感染 流 
感 。 他 们 只 是 被 预测 所 害 ， 更 重要 的 是 ， 他 们 成 了 伟大 数据 作用 同时 又 没有 
领会 数据 真 诺 的 人 的 替罪羊 。 谷 歌 流感 趋势 的 核心 思想 是 这 些 检索 词 条 和 流 
感 爆发 相关 ， 但 是 这 也 可 能 只 是 医疗 护 工 在 办 公 室 听 到 有 人 打 喷 吨 ， 然 后 上 
网 查询 如 何 防 止 自身 感染 ， 而 不 是 因为 他 们 自己 真 的 生病 了 。 


挣脱 大 数据 的 困境 


大 数据 为 监测 我 们 的 生活 提供 了 便利 ， 同 时 也 让 保护 隐私 的 法 律 手段 失 
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去 了 应 有 的 效力 。 面 对 大 数据 ， 保 护 隐 私 的 核心 技术 不 再 适用 了 。 同 样 ， 通 
过 大 数据 预测 ， 对 我 们 的 未 来 想法 而 非 实际 行为 采取 惩罚 措施 ， 也 让 我 们 悍 
WANK, AAXAAT BIE SARE. 

同时 ， 那 些 答 到 大 数据 益处 的 人 ， 可 能 会 把 大 数据 运用 到 它 不 适用 的 领 
域 ,而 且 可 能 会 过 分 膨胀 对 大 数据 分 析 结 果 的 信赖 。 随 着 大 数据 预测 的 改进 ， 
我 们 会 越 来 越 想 从 大 数据 中 据 金 ， 最 终 导 致 一 种 盲目 崇拜 ， 毕 竟 它 是 如 此 的 
无 所 不 能 。 这 束 是 我 们 必须 从 麦克 纳 马 拉 的 故事 中 引 以 为 戒 的 。 


必须 杜绝 对 数据 的 过 分 依赖 ， 以 防 我 们 重 蹊 伊 卡 洛斯 ”的 覆 加 。 他 就 是 
因为 过 分 相信 自己 的 飞行 技术 ， 最 终 误 用 了 数据 而 落 入 了 海中 。 下 一 章 ， 我 
们 将 探讨 如 何 让 数据 为 我 们 所 用 ， 而 不 让 我 们 成 为 数据 的 奴隶 。 


O 希腊 神话 人 物 。 一 一 编者 注 
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当世 界 开 始 迈 向 大 数据 时 代 时 ， 社 会 也 将 经 历 类 

似 的 地 壳 运 动 。 在 改变 人 类 基本 的 生活 与 思考 方 

式 的 同时 ， 大 数据 早已 在 推动 人 类 信息 管理 准 见 

的 重新 定位 。 然 而 ， 不 同 于 印刷 革命 ， 我 们 没有 

| 几 个 世纪 的 时 间 去 适应 ， 我 们 也 许 只 有 几 年 时 间 。 
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大 数据 时 代 


一 上 场 管理 规范 的 变革 


我 们 在 生产 和 信息 交流 方式 上 的 变革 必然 会 引发 自我 管理 所 用 规范 的 变 
蛙 。 同 时 ， 这 些 变 革 也 会 市 动 社会 需要 维护 的 核心 价值 观 的 转变 。 我 们 以 印 
刷机 的 发 明 导 致 的 信息 洪流 为 例 。 


1450 年 前 后 ， 古 登 堡 发 明了 活字 印刷 机 ， 在 这 之 前 ， 思 想 的 传播 受到 了 
极 大 的 限制 。 一 方面 ， 书 籍 大 多 被 封禁 在 修道 院 的 图 书馆 里 ,依照 天 主教 精 
心 制 定 的 规定 ， 定 僧 侣 严格 看 守 看 ， 为 的 是 确保 并 维护 其 统治 地 位 。 在 教 答 
之 外 ， 少 数 几 所 大 学 也 收藏 了 一 些 书 籍 ， 大 概 几 百 本 的 样子 ; 15 世纪 初 ， 剑 
桥 大 学 图 书馆 大 概 有 122 本 大 部 头 。 另 一 方面 ， 读 写 水 平 的 欠缺 也 是 当时 信 
县 传播 受 限 的 一 个 重要 因素 。 


古 登 堡 的 印刷 机 让 书籍 和 手册 的 大 量 刊印 成 为 可 能 。 马 丁 ' 路 德 〈《Martin 
Luther ) 把 拉丁 语 版 本 的 圣经 翻译 成 日 第 使 用 的 德 文 ， 让 越 来 越 多 的 人 可 以 
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不 通过 牧师 而 直接 聆听 上 和 帝 的 声音 ， 同 时 这 也 让 他 目 己 更 确定 德语 版 《 圣 
经 》 可 以 印刷 、 分 发 给 成 千 上 万 的 人 。 于 是 ， 信 息 传 播 越 来 越 广泛 。 


这 种 巨变 也 使 得 创立 新 规范 来 管理 活字 印刷 术 所 引发 的 信息 爆炸 的 条 件 
变 得 成 熟 。 审 查 和 许可 条 例 被 创立 ， 用 来 规范 和 管理 出 版 物 。 闭 作 权 法 的 制 
定 为 创作 者 市 来 了 进行 创作 的 法 律 和 经 济 动 力 。 随 后 ,保护 公民 言论 自由 被 
写 人 了 宪法 。 但 是 一 如 既往 ， 权 力也 伴随 着 责任 产生 了 。 当 低俗 的 报纸 践踏 
人 们 隐私 权 或 诽谤 其 名 誉 时 ， 法 律 规 范 驶 会 出 现 以 保护 人 们 的 隐私 权 并 人 允许 
他 们 对 文字 诽谤 提出 上 诉 。 


可 是 ， 变 革 并 不 止 于 规范 。 这 种 管理 规范 上 的 改变 也 体现 了 当时 更 深层 
次 的 价值 观 转变 。 在 古 登 堡 时期 ， 人 类 第 一 次 意识 到 了 文字 的 力量 ; RZ, 
也 意识 到 了 得 到 信息 广泛 传播 的 重要 性 。 几 个 世纪 过 去 了 ， 我 们 选择 获取 更 
多 的 信息 而 非 更 少 ， 并 且 借 助 限制 信息 滥用 的 规范 而 不 是 最 初 的 审查 来 防止 
其 泛滥 。 


随 看 世界 开始 迈 向 大 数据 时 代 ， 社 会 也 将 经 历 类 似 的 地 这 运 动 。 在 改变 
我 们 许多 基本 的 生活 和 思考 方式 的 同时 ， 大 数据 早已 在 推动 我 们 去 重新 考虑 
最 基本 的 准则 ， 包 括 脏 样 求 励 其 增长 以 及 怎样 遏制 其 潜在 威胁 。 然 而 ， 不 同 
于 印刷 半 命 ， 我 们 没有 几 个 世纪 的 时 间 去 慢 慢 适应 ,我 们 也 许 只 有 几 年 时 间 。 


大 数据 时 代 ， 对 原 有 规范 的 修 修补 补 已 经 满足 不 了 需要 ， 也 不 足以 抑制 
大 数据 市 来 的 风险 一 一 我 们 需要 全 新 的 制度 规范 ， 而 不 是 修改 原 有 规范 的 适 
用 范围 。 想 要 保护 个 人 隐私 就 需要 个 人 数据 处 理 器 对 其 政策 和 行为 承担 更 多 
的 责任 。 同 时 ， 我 们 必须 重新 定义 公正 的 概念 ， 以 确保 人 类 的 行为 自由 (也 
相应 地 为 这 些 行为 承担 责任 )。 新 机 构 和 专家 们 (我 们 称 之 为 程序 员 )， 需 要 
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设计 复杂 的 程序 对 大 数据 进行 解读 ， 挖 掘 出 其 潜在 的 价值 和 结论 。 他 们 也 要 
癌 那 些 可 能 受害 于 大 数据 结论 的 人 一 一 因 之 被 剥夺 了 工作 、 接 受 医 疗 或 贷款 
权利 的 人 ， 提 供 文 持 。 对 已 有 的 规范 进行 修 修补 补 已 经 不 够 了 ， 我 们 需要 推 
陈 出 新 。 


管理 变革 1: 个 人 隐私 保护 ， 
从 个 人 许可 到 让 数据 使 用 者 承担 责任 


数 十 年 来 ,全球 范 围 内 的 隐私 规范 都 开始 让 人 们 自主 决定 是 否 、 如 何以 
及 经 由 谁 来 处 理 他 们 的 信息 ， 把 这 种 控制 权 放 在 了 人 们 自己 手中 ,这 也 是 隐 
私 规范 的 核心 准则 。 在 互联 网 时 代 ， 这 个 伟大 的 理想 往往 会 演变 成 “告知 与 
许可 ”的 公式 化 系统 。 


在 大 数据 时 代 ， 因 为 数据 的 价值 很 大 一 部 分 体现 在 二 级 用 途上 ， 而 收集 
数据 时 并 未 作 这 种 考虑 ， 所 以 “告知 与 许可 ”就 不 能 再 起 到 好 的 作用 了 。 


在 大 数据 时 代 ， 我 们 需要 设立 一 个 不 一 样 的 隐私 保护 模式 ， 这 个 模式 应 
该 更 着 重 于 数据 使 用 者 为 其 行为 承担 责任 ， 而 不 是 将 重心 放 在 收集 数据 之 初 
取得 个 人 同意 上 。 这 样 一 来 ， 使 用 数据 的 公司 就 需要 基于 其 将 对 个 人 所 造成 
的 影响 ， 对 涉及 个 人 数据 再 利用 的 行为 进行 正规 评测 。 当 然 ， 并 不 是 说 任何 
时 候 都 必须 非常 详尽 。 


未 来 的 隐私 保护 法 应 当 区 分 用 途 ， 包 括 不 需要 或 者 只 需要 适当 标准 化 保 
护 的 用 途 。 对 于 一 些 危 险 性 较 大 的 项 目 ， 管 理 者 必须 设立 规章 ， 规 定数 据 使 
用 者 应 如 何 评 信 和 风险、 如何 规避 或 者 减轻 洪 在 伤害 。 这 将 激发 数据 的 创新 性 
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再 利用 ， 同 时 也 确保 个 人 免 受 无 万 之 灾 。 


对 大 数据 使 用 进行 正规 评测 及 恰当 使 用 ， 可 以 为 数据 使 用 者 带 来 切实 的 
好 处 : 很 多 情况 下 ， 他 们 无 须 再 取得 个 人 的 明确 同意 ， 就 可 以 对 个 人 数据 进 
行 二 次 利用 。 相 反 地 ， 数 据 使 用 者 也 要 为 敷衍 了 事 的 评测 和 不 达标 准 的 保护 
措施 承担 法 律 责任 ， 诸 如 强制 执行 、 罚 款 甚 至 刑事 处 罚 。 数 据 使 用 者 的 责任 
只 有 在 有 强制 力 规范 的 情况 下 才能 确保 履行 到 位 。 


为 了 了 解 它 是 如 何 运用 到 实践 当中 的 ， 我 们 以 第 4 章 提 到 的 数据 化 个 
人 坐姿 信息 为 例 。 假 设 一 家 公司 出 售 了 一 项 以 驾驶 员 坐 姿 为 特定 识别 符 的 汽 
车 防盗 技术 。 然 后 ， 它 对 收集 到 的 信息 进行 分 析 ， 预 测 驾驶 员 的 注意 力 状态 
( 比如 车 错 欲 睡 、 醉 酒 以 及 生气 )， 以 此 向 周围 其 他 驾驶 员 发 出 警报 以 防 发 生 
交通 事故 。 根 据 目 前 的 隐私 规范 ， 他 可 能 需要 新 一 轮 的 告知 与 许可 ， 因 为 这 
样 使 用 信息 是 未 经 驾驶 员 授 权 的。 但 是 如 今 ， 在 数据 使 用 者 的 责任 承担 体系 
下 ， 他 们 束 会 评估 预期 用 途 的 危险 性 。 如 果 发 现 危 害 性 很 小 ， 他 们 就 可 以 着 
手 实施 预定 计划 并 实现 提高 敬 驶 安全 性 的 目标 。 


将 责任 从 民众 转移 到 数据 使 用 者 很 有 意义 ， 也 存在 充 

分 的 理由 。 数 据 使 用 者 比 任 何人 都 明白 ， 他 们 想 要 如 何 利 

了 用 数据 ， 更 不 要 提 民 众 了 。 他 们 的 评估 ( 或 者 由 他 们 所 雇 
rk ie We dive, 用 的 专家 制定 的 评估 ) 避免 了 商业 机 密 的 泄露 。 也 许 更 为 


以 理所当然 应 该 让 他 们 对 自己 的 行为 负责 。 






此 外 ,与 目前 大 多 数 隐私 保护 法 所 要 求 的 不 一 样 ， 数 据 使 用 者 达到 了 最 
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初 目 的 之 后 ， 法 律 上 不 再 规定 必须 删除 个 人 信息 。 相 反 ， 数 据 使 用 者 被 允许 
较 长 时 间 地 保存 数据 ， 虽 然 不 能 永远 。 这 是 一 个 意义 重大 的 变 午 ， 因 为 ， 就 
像 我 们 所 知道 的 ， 只 有 开发 数据 的 浴 在 价值 ， 对 数据 价值 进行 最 大 程度 的 挖 
据 ， 近 代 “ 更 里 ” 们 才能 发 展 系 订 ， 并 促进 目 身 和 社会 的 同步 进步 。 总 之 ， 
社会 必须 平衡 二 次 运用 的 优势 与 过 度 披 露 所 市 来 的 风险 。 


为 实现 这 一 平衡 ， 监 管 机 制 可 以 决定 不 同 种 类 的 个 人 数据 必须 删除 的 时 
间 。 再 利用 的 时 间 框 架 则 取决 于 数据 内 在 风险 和 社会 价值 观 的 不 同 。 一 些 国 
家 也 许 会 更 谨慎， 而 某 些 种 类 的 数据 则 也 许 会 更 敏感 。 


这 一 方式 通过 限制 个 人 信息 存储 和 处 理 的 时 间 而 你 护 了 个 人 隐私 ， 也 可 
以 消除 “永久 记忆 ”的 爷 慌 一 一 永 不 磨灭 的 数字 记录 让 人 无 法 告别 过 去 。 我 
们 的 个 人 数据 就 像 达 摩 克 利 斯 之 剑 一 样 悬 在 头 上 ， 多 年 之 后 也 会 因为 一 件 私 
事 或 者 一 次 遗憾 的 购买 记录 而 被 翻 出 来 再 次 刺 痛 我 们 。 时 间 限 制 也 激励 数据 
使 用 者 在 有 权限 的 时 间 内 尽力 挖掘 出 数据 的 价值 。 这 就 是 我 们 认为 更 适用 于 
对 大 数据 时 代 的 平衡 : 公司 可 以 利用 数据 的 时 间 更 长 ， 但 相应 地 必须 为 其 行 
为 承担 责任 以 及 负 有 特定 时 间 之 后 删除 个 人 数据 的 义务 。 


除了 管理 上 的 转变 ， 即 从 个 人 许可 到 数据 使 用 者 承担 





i: 相应 责任 的 转变 ， 我 们 也 需要 发 明 并 推行 新 技术 方式 来 促 
wih 进 隐私 保护 。 一 个 创新 途径 就 是 “差别 隐私 "， 故意 将 数据 
wo | 模糊 处 理 ， 促 使 对 大 数据 库 的 查询 不 能 显示 精确 的 结果 ， 
大 数据 洞察 而 只 有 相近 的 结果 。 这 就 使 得 特定 个 人 与 特定 数据 点 的 联 


系 难 以 实现 并 且 耗 费 巨 大 。 
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言 息 模 糊 处 理 听 起 来 似乎 破坏 了 其 解读 价值 。 但 是 也 并 不 一 定 ， 至 少 这 
是 一 个 折 中 的 好 办 法 。 例 如 ， 技 术 政 策 专 家 特别 提 到 facebook 将 用 户 信息 回 
潜在 广告 客户 公布 就 是 依靠 差别 隐私 : 只 能 得 出 大 概 数量 ， 所 以 它们 不 会 又 
露 个 人 身份 。 查 询 亚特兰大 州 对 Ashtanaga 瑜伽 感 兴趣 的 亚洲 女性 ， 会 得 出 
诸如 “400 左右 ”这 样 的 结果 而 非 一 个 定 值 。 因 此 ， 利 用 这 个 信息 排查 到 个 
人 是 不 可 能 的 。 


个 人 隐私 保护 从 个 人 许可 到 数据 使 用 者 承担 责任 的 转变 是 一 个 本 质 上 的 
重大 变 车 。 我 们 必须 将 类 似 范 围 内 的 变 羊 应 用 到 大 数据 预测 中 去 ， 以 维护 人 
类 的 目 由 和 责任 。 


管理 变 单 2: 个 人 动因 VS 预测 分 术 


在 法 寿 上 ， 个 人 对 目 己 的 行为 员 有 责任 。 一 番 公 正 的 审讯 之 后 ， 审 判 员 
会 做 出 公平 公正 的 判决 。 然 而 ， 在 大 数据 时 代 ， 关 于 公正 的 概念 需要 重新 定 
义 以 维护 个 人 动因 的 想法 : 人 们 选择 上 自我 行为 的 自由 意志 。 简 单 地 说 ， 就 是 
个 人 可 以 并 应 该 为 他 们 的 行为 而 非 倾 问 负责 。 


在 大 数据 时 代 之 前 ， 这 是 明显 而 基本 的 自由 权利 。 事 实 上 ， 明 确 到 不 需 
要 进行 说 明 。 毕 竟 ， 我 们 的 法 律 体系 就 是 这 样 运作 的 : 通过 评判 人 们 过 去 的 
行为 使 之 为 其 行为 承担 责任 。 然 而 ， 有 了 大 数据 ， 我 们 就 能 预测 人 的 行为 ， 
有 时 还 能 十 分 准确 。 这 诱 使 我 们 依据 预测 的 行为 而 非 实际 行为 对 人 们 进行 
评定 。 
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i Revolution That 须 把 对 个 人 动 的 保护 纳入 进来 s 就 像 = 前 我 们 为 程序 公 





Will Transform How We Live, 
Work, and Think 正 所 做 的 努力 =o 如 若 不 然 9 公正 的 信念 就 可 能 被 完全 
大 数据 洞察 破坏 。 


通过 保证 个 人 动因 ， 我 们 可 以 确保 政府 对 我 们 行为 的 评判 是 基于 真实 行 
为 而 非 单纯 依 徘 大 数据 分 析 。 从 而 ， 政 府 只 能 依法 对 我 们 过 去 的 真实 行为 进 
行 追究 ， 而 不 可 以 追究 大 数据 预测 到 的 我 们 的 未 来 行为 ; 或 者 ， 在 政府 评判 
我 们 过 去 的 行为 时 ， 也 应 该 防止 单纯 依赖 大 数据 的 分 析 。 例 如 ， 在 对 两 家 涉 
嫌 操 纵 价格 的 公司 进行 调查 时 ， 我 们 完全 可 以 借助 大 数据 分 析 先 作出 大 概 判 
定 ， 然 后 监管 机 构 再 以 传统 手段 立案 和 进行 调查 。 不 过 ， 当 然 不 能 只 因为 大 
数据 分 析 预 测 它们 可 能 犯罪 ， 就 判定 其 有 罪 。 


相似 的 原理 应 当 运 用 到 政府 领域 之 外 ， 比 如 公司 在 进行 关乎 我 们 个 人 利 
益 的 重大 决策 时 一 一 屡 用 与 解 座 ， 同 童 按揭 或 者 拒 改 信用卡。 如 果 他 们 单纯 
依据 大 数据 预测 作出 这 些 决 策 ， 特 定 的 防护 措施 就 必须 到 位 。 


e 第 一 ， 公 开 原 则 。 因 为 这 将 直接 影响 到 个 人 ， 所 以 必须 公开 
用 来 进行 预测 分 析 的 数据 和 算法 系统 ; 

e 第 二 ， 公 正 原则 。 具 备 由 第 三 方 专家 公证 的 可 靠 、 有 效 的 算 
法 系统 ; 

e 第 三 ， 可 反驳 原则 。 明 确 提 出 个 人 可 以 对 其 预测 进行 反 驱 的 
具体 方式 (这 类 似 于 科学 研究 中 披露 任何 可 能 影响 研究 结果 
的 因素 的 传统 )。 

o 最 重要 的 是 ， 要 确保 个 人 动因 能 防范 “数据 独裁 ”的 所 
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害 一 一 我 们 赋予 数据 本 不 具备 的 意义 和 价值 。 


保护 个 人 责任 也 同样 重要 。 也 许 这 一 点 很 具有 吸引 力 一 一 社会 无 论 何 时 
做 出 关乎 他 人 的 决策 时 ， 都 不 再 确保 他 们 承担 责任 。 相 反 ， 它 会 将 重心 转移 
到 风险 管理 上 ， 即 评测 可 能 性 以 及 对 其 进行 风险 评 售 。 有 了 所 有 看 似 客观 的 
数据 ， 对 我 们 的 决策 过 程 去 情绪 化 和 去 特殊 化 ; 以 运算 法 则 取代 审判 员 和 评 
价 者 的 主观 评价 ; 不 再 以 退 究 责任 的 形式 表明 我 们 的 决策 ， 而 是 将 其 表述 成 
更 “客观 ”的 风险 和 规避 风险 ， 听 起 来 都 是 不 错 的 主意 。 


比如 说 ， 大 数据 强烈 诱 使 我 们 隔离 那些 被 预言 将 会 犯罪 的 人 们 ， 以 减少 
风险 的 名 义 对 其 进行 不 断 审 查 ， 即 使 他 们 确实 在 为 尚 不 需 承 担 责任 的 事情 接 
受 惩罚 。 设 想 一 下 ,“ 预 测 警 务 ”的 运算 法 则 鉴定 某 个 青少年 在 未 来 五 年 内 很 
可 能 犯 重罪 。 结 果 ， 当 局 决定 派遣 一 名 社会 工作 者 每 月 拜访 他 一 次 以 对 其 进 
行 监视 ， 并 尽力 帮助 他 解决 问题 。 如 果 该 少年 及 其 亲属 、 朋 友 、 老 师 或 雇主 
将 这 种 拜访 视 为 一 种 耻辱 ( 这 种 情况 极 有 可 能 发 生 )， 那 么 这 就 起 到 了 惩罚 
的 作用 ， 的 确 是 对 未 发 生 的 行为 的 惩罚 。 然 而 ， 如 果 这 种 拜访 完全 不 被 视 为 
惩罚 ， 而 只 是 为 了 减少 问题 出 现 的 可 能 ， 即 作为 一 种 将 风险 降 至 最 低 的 方式 
(在 这 里 指 的 是 将 破坏 公共 安全 的 犯罪 风险 减 到 最 小 )， 情 况 照样 好 不 到 哪儿 
去 。 社 会 越 是 用 干预 、 降 低 风险 的 方式 取代 为 自己 的 行为 负责 ， 就 越 会 导致 
个 人 责任 意识 的 贬值 。 主 张 预 测 的 国家 是 保姆 式 的 国家 ， 而 且 远 不 止 如 此 。 
否认 个 人 为 其 行为 承担 责任 实际 上 就 是 在 摧毁 人 们 自由 选择 行为 的 权利 。 


如 采 国 家 做 出 的 许多 决策 部 是 基于 预测 以 及 减少 风险 的 愿望 ， 就 不 存在 
所 谓 个 人 的 选择 了 ， 也 不 用 提 目 主 行为 的 权利 。 无 罪 , 无 清白 。 如 此 一 来 ， 
世界 不 止 不 会 进步 ， 反 而 在 倒退 。 
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大 数据 管理 的 基本 支撑 是 保证 我 们 依然 是 通过 考虑 他 





es 9 i Ft 47 Ee A T= E S, ğ 
BIG DATA 人 的 个 人 责任 对 其 进行 评判 ， 而 不 是 借助 “客观 ”数据 处 
A Revolution That 理 去 决定 他 们 是 否 违 法 。 只 有 这 样 3 我 们 才 是 把 其 一 作 人 
Wit Transform How We Live, 
Work, and Think 来 对 待 a 当 作 有 行为 选择 自 由 和 通过 自 主 行 为 被 评判 的 人 。 
大 数据 洞察 这 就 是 从 大 数据 推论 到 今天 的 无 罪 推定 原则 。 


管理 变革 3: 击 碎 黑 例子 ， 大 数据 程序 员 的 崛起 


目前 ， 计 算 机 系统 做 出 决策 的 方式 是 基于 程序 明确 设 定 所 需 遵 循 的 规则 。 
这 样 ， 如 采 它 们 的 决策 出 错 〈 这 是 不 可 避免 的 )， 我 们 就 可 以 回 过 头 来 找 出 计 
算 机 做 出 错误 决策 的 原因 。 为 什么 外 部 感应 器 遭遇 空气 湿度 激增 的 情况 时 ， 
乔 能 飞行 系统 使 飞机 上 升 了 5 度 ? ”等 。 现 在 的 计算 机 编码 能 被 解码 、 检 查 ， 
并 且 可 以 解读 其 决策 依据 一 一 无 论 多 么 复杂 ， 至 少 对 于 懂得 如 何 解码 的 人 不 
存在 问题 。 


然而 ， 有 了 大 数据 分 析 ， 这 种 追 踊 会 变 得 愈 发 困难 。 对 人 们 而 言 ， 进 行 
预测 分 析 的 计算 机 系统 往往 过 于 复杂 ， 根 本 无 法 理解 。 但 当 计 算 机 按 程序 设 
置 明 确 执 行 一 系列 指令 时 ， 情 况 就 不 一 样 了 。 例 如 1954 年 早期 ， 在 IBM 将 
俄 文 译 成 瑞 文 的 翻译 程序 中 ， 人 们 就 能 轻松 理解 一 个 单词 译 成 男 一 个 单词 的 
原因 。 但 是 ， 对 于 谷歌 利用 利用 几 十 亿 页 的 翻译 数据 开发 出 的 翻译 系统 ， 当 
其 将 英文 单词 “light” 译 成 法 文 单词 “lumiere” 而 非 “lkger” 时 ( 即 ， 指 的 
是 光 而 不 是 重量 轻 )， 就 不 可 能 清楚 地 解释 其 如 此 选择 的 原因 ， 毕 竞 这 个 预测 
分 析 是 基于 海量 数据 和 庞大 的 统计 计算 之 上 的 。 
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大 数据 的 运作 是 在 一 个 超出 我 们 正常 理解 的 范围 之 上 的 。 例 如 ， 谷 歌 所 
确定 的 与 流感 相关 的 检索 词 条 是 通过 测试 了 4.5 亿 个 数学 模型 而 得 出 的 。 而 
六 西亚 ' 鲁 丁 最 初 为 判断 沙井 盖 是 否 会 着 火 设 定 了 106 个 预测 右 ， 因 此 才能 
回 联合 爱迪生 电力 公司 的 经 理解 释 为 何 程序 要 求 优 先 检查 某 个 沙井 盖 。 可 解 
释 性 ”正如 在 人 工 智能 界 所 称 的 一 样 ， 对 于 不 仅 想 知道 “是 什么 ”更 想 知 道 
“为 什么 ”的 人 类 来 说 非常 重要 。 可 是 ， 如 果 系 统 目 动 生成 的 不 是 106 个 预测 
ar, MÆ 601 个 的 话 ， 那 该 怎么 办 呢 ? 虽然 其 中 大 部 分 都 没有 多 大 用 途 ， 但 
是 一 旦 汇聚 起 来 就 能 提高 模型 的 准确 性 ， 而 预测 的 基础 就 会 变 得 惊人 地 复杂 。 
如 此 的 话 ， 六 西亚 "和 鲁 丁 如 何 能 说 服 联合 爱迪生 电力 公司 的 经 理 再 分 配 它们 
本 就 不 多 的 预算 呢 ? 


在 这 些 育 景 下 ， 我 们 能 看 到 大 数据 预测 、 运 算法 则 和 数据 库 有 变 为 黑 盒 
于 的 风险 , 这 个 于 盒子 不 透明 、 不 可 解释 、 不 可 追踪 , 因而 我 们 对 其 信心 全 无 。 
为 了 防止 这 些 情况 的 出 现 ， 大 数据 将 需要 被 监测 并 保持 透明 度 ， 当 然 还 有 使 
这 两 项 得 以 实现 的 新 型 专业 技术 和 机 构 。 它 们 将 为 许多 领域 提供 支持 ， 在 这 
些 领域 里 社会 需要 检测 预测 结 采 并 能 够 为 其 误 判 的 人 群 提供 弥补 方法 。 


社会 发 展 出 现 过 很 多 这 种 情况 ， 当 一 个 特定 领域 变 得 特别 复杂 和 专门 
化 之 后 ， 束 会 催生 出 对 运用 新 技术 的 专门 人 才 的 迫切 需求 。 在 一 个 多 世纪 以 
前 ,法律 、 医 学 、 会 计 以 及 工程 学 领域 都 经 历 过 这 种 转型 。 不 久 前 ， 计 算 机 
安全 和 隐私 顾问 的 突然 兴起 ,证 实 了 公司 都 在 遵循 由 一 些 组 织 确 立 的 行业 最 
佳 做 法 ， 如 国际 标准 化 组 织 ( 它 是 为 满足 这 个 领域 对 准则 的 需要 而 自发 形 
成 的 )。 
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Severe} 


大 数据 将 要 求 一 个 新 的 人 群 来 扮演 这 种 角色 ; 也 许 他 
sre nara | 们 会 被 称 作 “ 程 序 员 "。 他 们 有 两 种 形式 : 在 机 构 外 部 工作 
S O | 的 独立 实体 和 机 构 内 部 的 工作 人 员 一 一 正如 公司 有 内 部 的 






> Pe ism E a 
A Revolution That 


Will Transtorm How We Live. 


Work. and Think 会 计 人 员 和 进行 鉴证 的 外 部 审计 师 。 
大 数据 油 察 这 些 新 的 专业 人 员 会 是 计算 机 科学 、 数 学 和 统计 学 领 


域 的 专家 ， 他 们 将 担任 大 数据 分 析 和 预测 的 评估 专家 。 他 
们 必须 保证 公正 和 保密 ， 就 像 现 在 的 审计 员 和 其 他 专业 人 
员 所 做 的 一 样 。 他 们 可 以 评估 数据 源 的 挑选 ， 分 析 和 预测 
工具 的 选取 ， 甚 至 包括 运算 法 则 和 模型 ， 以 及 计算 结果 的 
解读 是 否 正确 合理 。 一 旦 出 现 争 议 ， 他 们 有 权 考 察 与 分 析 
结果 相关 的 运算 法 则 、 统 计 方 法 以 及 数据 集 。 


如 果 2004 年 美国 国土 安全 部 配备 有 一 名 程序 员 ， 它 也 许 不 会 生成 一 份 
这 么 差劲 的 禁 飞 名 单 ， 竟 然 把 马萨诸塞 州 参 议员 特 德 . 肯尼迪 都 列 人 了 其 中 。 
最 近 在 日 本 、 法 国 、 德 国 和 意大利 ， 程 序 员 也 可 以 发 挥 作 用 ， 这 些 国家 的 很 
多 人 认为 谷歌 的 “自动 完成 ”特征 程序 诽谤 了 他 们 。 这 是 一 个 生成 与 姓名 相 
关 的 普遍 搜索 词 的 程序 ， 它 很 大 程度 上 依据 的 是 之 前 的 搜索 频率 : 这 些 词 条 
根据 数学 概率 进行 排名 。 如 果 类 似 “ 犯 罪 ” 或 者 “娼妓 ”这 样 的 字眼 出 现在 
你 姓名 旁边 ， 而 碰巧 被 你 的 业务 伙伴 或 者 爱人 看 到 了 ， 你 能 不 气 狗 吗 ? 


我 们 将 “程序 员 ” 的 概念 视 为 是 在 以 市 场 为 导 回 来 解决 这 些 问 题 ， 这 也 
就 避免 了 以 侵入 式 的 规章 来 解决 问题 。 他 们 和 20 世纪 早期 为 了 处 理 泛滥 的 财 
务 信息 而 出 现 的 会 计 以 及 审计 员 一 样 ， 是 为 了 满足 新 需求 而 出 现 的 。 一 般 人 
很 难 理解 得 了 这 样 的 数字 冲击 ， 所 以 必须 有 一 群 以 一 种 灵活 的 目 我 监管 方式 
组 织 起 来 的 专业 人 员 去 保护 大 众 的 利益 。 于 是 ， 提 供 专 门 的 金融 监管 服务 的 
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新 公司 就 这 样 应 运 而 生 。 如 此 一 来 ， 这 种 新 类 型 的 专门 人 才 也 帮助 社会 大 众 
增强 了 他 们 对 经 济 本 身 的 信心 。 大 数据 可 以 也 应 该 从 程序 员 给予 的 类 似 信心 
提 振 中 获 利 。 


外 部 程序 员 


外 部 程序 员 将 扮演 公正 的 审计 员 的 角色 ， 在 客户 或 政府 所 要 求 的 任何 时 
候 ， 根 据 法 律 指令 或 规章 对 大 数据 的 准确 程度 或 者 有 效 性 进行 鉴定 。 他 们 也 
能 为 需要 技术 文 持 的 大 数据 使 用 者 提供 审计 服务 ， 还 可 以 为 他 们 证 实 大 数据 
应 用 程序 的 健全 性 ,例如 反 欺 诈 技 术 或 者 股票 交易 系统 。 最 后 ， 他 们 将 和 政 
府 商议 公共 领域 大 数据 的 最 佳 使 用 办 法 。 


束 像 医学 、 法 律 和 其 他 行业 一 样 ， 我 们 设想 这 个 新 行业 会 有 自己 的 行业 
规范 。 程 序 员 的 公正 、 保 密 、 资 历 以 及 专业 水 准 可 用 严 苛 的 责任 规范 来 进行 
强制 约束 ; 如 有 果 他 们 不 能 达到 这 些 标准 ， 就 可 能 被 起 诉 。 他 们 可 以 调任 为 审 
讯 中 的 专家 证 人 ,或 在 审讯 中 遇 到 特别 复杂 的 大 数据 问题 时 被 法 官 委 派 为 “法 
院 专 家 ”一 一 主要 是 指 某 一 个 学 科 领 域 专家 为 案件 审理 提供 援助 。 


此 外 ， 当 人 们 认为 他 们 受到 大 数据 预测 危害 一 一 被 拒绝 手术 、 被 拒绝 假 
释 、 和 被 拒绝 抵押 贷款 时 ， 便 可 以 向 程序 员 咨询 和 上 诉 这 些 决定 。 


内 部 程序 员 

内 部 程序 员 在 机 构 内 部 工作 ， 监 督 其 大 数据 活动 。 他 们 不 仅 要 考虑 公司 
的 利益， 也 要 顾及 受到 公司 大 数据 分 析 影响 的 其 他 人 的 利益 。 他 们 监督 大 数 
据 的 运转 ， 任 何 认 为 遭受 其 公司 大 数据 危害 的 人 都 会 最 初 与 他 们 取得 联系 。 
在 公布 大 数据 分 析 结 果 之 前 ， 他 们 也 对 其 完整 性 和 准确 度 进 行 审查 。 为 了 扮 
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演 好 这 两 个 角色 ， 程 序 员 首 先 要 做 到 的 就 是 必须 在 工作 机 构 内 部 拥有 一 定 程 
度 的 自由 和 公正 。 


个 人 为 公司 工作 却 又 要 保持 公正 似乎 违背 常识 ,但 这 事实 上 十 分 常见 。 
大 型 金融 机 构 的 监管 部 分 是 一 个 例子 ， 许 多 公司 的 董事 会 也 是 如 此 ， 他 们 是 
对 股东 负责 而 非 管理 者 。 许 多 传媒 公司 ， 包 括 纽约 时 报 、 华 盛 顿 邮 报 都 会 雇 
用 外 部 监察 人 来 维护 公众 信任 。 他 们 解决 读者 的 问题 ， 当 他 们 发 现存 在 不 当 
行为 时 ， 也 经 常 公 开 责 难 雇主 。 


其 至 ， 与 内 部 程序 员 更 类 似 的 职业 也 同样 存在 ， 即 负责 确保 企业 不 滥用 
个 人 信息 的 职业 人 。 例 如 在 德国 ， 具有 一 定 规模 的 公司 (有 10 个 或 以 上 人 员 
处 理 个 人 信息 ) 必须 任命 一 名 数据 保护 代表 。20 世纪 70 年 代 以 来 ,数据 保 
护 代表 们 逐渐 形成 了 目 己 的 职业 道德 和 团体 精神 。 他 们 进行 定期 会 面 ， 分享 
最 好 的 实践 经 验 并 进行 培训 ,他 们 拥有 上 自己 专门 的 媒体 和 会 议 ， 他 们 也 成 功 
地 实现 了 一 方面 忠于 雇主 ， 另 一 方面 忠于 目 己 作为 公证 人 的 职责 。 德 国 的 企 
业 数 据 保护 代表 们 取得 了 很 大 的 成 功 ， 既 充当 了 企业 数据 保护 监察 人 ， 又 将 
信息 保密 观念 舱 入 了 整个 企业 运作 过 程 。 我 们 相信 ， 程 序 员 同 样 也 能 做 到 。 


管理 变 单 4: ROG 


数据 之 于 信息 社会 就 如 燃料 之 于 工业 章 命 ,是 人 们 进行 创新 的 力量 源 果 。 
没有 大 量 人 鲜 活 的 数据 和 健全 的 服务 市 场 ， 这 些 创新 就 实现 不 了 。 


在 这 一 章节 ， 我 们 提 及 了 管理 的 4 个 基本 转变 。 随 看 这 些 转 变 的 到 位 ， 
我 们 相信 ， 大 数据 的 不 利 影响 将 会 得 到 控制 。 然 而 ， 随 着 尚未 成 熟 的 大 数据 
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产业 的 不 断 发 展 ， 另 一 个 重要 的 挑战 将 会 是 如 何 保护 极 具 竞争 力 的 大 数据 市 
场 。 我 们 必须 防止 21 世纪 数据 大 部 的 崛起 ， 它 相当 于 19 世纪 强盗 大 享 的 现 
代 番 版， 那些 强 盗 大 亨 曾 垄断 了 美国 的 铁路 、 钢 铁 生 产 和 电报 网 络 。 


为 了 管理 这 些 新 兴 行 业 ， 美 国 制定 了 适应 性 极 强 的 反 垄 断 条 例 。 最 初 是 
在 19 世纪 为 铁路 行业 制定 的 ， 后 来 又 被 应 用 到 了 掌管 商业 信息 的 其 他 公司 ， 
从 20 世纪 最 初 十 年 的 国家 收银 机 公司 (National Cash Register )， 到 20 世纪 
60 年 代 的 IBM, 70 年 代 的 施乐 公司 、80 年 代 的 AT&T、90 年 代 的 微软 和 今 
天 的 谷歌 。 这 些 公司 所 开辟 的 技术 成 了 经 济 结构 中 “信息 基础 设施 ”的 核心 
组 成 部 分 ， 所 以 为 了 防止 它们 垄断 ， 法 律 的 支持 必 不 可 少 。 


为 了 确保 给 大 数据 提供 一 个 与 早期 技术 领域 情况 相当 的 活跃 的 市 场 环 
境 ， 我 们 应 该 实现 数据 交易 ， 比 如 通过 授权 和 协同 合作 的 方式 。 但 是 ， 这 就 
引发 了 一 个 问题 : 精心 达到 平衡 的 数据 独 有 权 , 是 否 能 让 社会 大 众 从 中 获 利 ? 
虽然 听 起 来 有 点 挑 鲜 的 意味 ， 但 是 这 是 否 能 像 知 识 产权 一 样 有 利于 社会 呢 ? 
诚然 ， 要 达到 这 样 的 效果 ， 对 于 决策 者 来 说 ， 是 一 个 艰难 的 任务 ; 而 对 于 普 
通 人 来 说 ， 则 充满 了 风险 。 技 术 发 展 变 幻 更 测 ， 无 从 定论 ， 大 数据 也 无 法 预 
测 自己 的 未 来 。 监 管 人 员 需 要 既 大 胆 又 细心 ， 而 实现 这 两 者 的 平衡 ， 可 以 学 
习 反 垄断 法 的 发 展 历 史 。 


反 垄 断 法 遏制 了 权力 的 滥用 。 然 而 令 人 惊奇 的 是 ， 这 些 条 例 能 从 一 个 领 
域 完美 转移 到 另外 一 个 领域 ,并 且 适 用 于 不 同类 型 的 网 络 产 业 。 这 种 不 带 任 
何 偏 祖 的 强 有 力 的 规章 非常 实用 ， 因 为 它 提供 的 是 一 个 平等 的 苋 争 平台 , 一 
开始 便 没 有 任何 优 劣 之 分 。 因 此 ， 为 了 促进 大 数据 平台 上 的 展 性 竞争 ， 政 府 
必须 运用 反 垄 断 条 例 。 而 且 ， 就 像 世界 上 一 些 大 型 的 数据 拥有 者 那 样 ， 政 府 
也 应 该 公布 其 数据 。 令 人 高 兴 的 是 ， 这 一 切 正在 发 生 。 
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反 垄 断 法 的 经 验 是 ， 一 旦 确定 了 极 重要 的 原则 ， 管 理 者 就 要 将 之 付 诸 行 
动 ， 以 确保 保护 措施 的 实施 到 人 位。 同样 ， 我 们 提出 了 5 项 策略 ， 包 括 隐私 保 
护 从 个 人 许可 到 数据 使 用 者 承担 责任 的 转变 ， 在 使 用 预测 分 析 时 考虑 个 人 动 
因 以 及 催生 大 数据 审计 员 ， 也 就 是 程序 员 ， 等 等 。 这 都 将 是 大 数据 时 代 对 信 
息 进 行 有 效 、 公 正 管理 的 基础 。 


伴随 着 从 核 技 术 到 生物 工程 学 其 他 领域 的 发 展 ， 人 类 总 是 先 创造 出 可 能 
危害 目 身 的 工具 ， 然 后 才 痢 手 建立 保护 目 己 、 防 范 危 险 的 安全 机 制 。 在 这 方 
面 ， 大 数据 也 和 其 他 领域 的 新 技术 一 样 ， 市 来 了 无 法 彻底 解决 的 挑战 。 为 外 ， 
它们 也 不 断 对 我 们 管理 世界 的 方法 提出 挑战 。 而 我 们 的 任务 是 要 意识 到 新 技 
术 的 风险 ， 促 进 其 有 发展， 然后 斩获 成 采 。 


正如 印刷 机 的 发 明 引 发 了 社会 日 我 管理 的 变 单 ， 大 数据 也 是 如 此 。 它 迫 
使 我 们 借助 新 方式 来 解决 长 期 存在 的 挑战 ， 并 且 通 过 信 鉴 基本 原理 对 新 的 隐 
患 进行 应 对 。 不 过 ， 推 进 科学 技术 进步 的 同时 ， 应 确保 人 类 目 映 的 安全 。 因 
此 ， 我 们 不 能 让 大 数据 的 发 展 超出 我 们 可 以 控制 的 范围 。 
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正在 发 生 的 未 来 


大 数据 并 不 是 一 个 充斥 着 算法 和 机 器 的 冰冷 世界 ， 
人 类 的 作用 依然 无 法 被 完全 替代 。 大 数据 为 我 们 
提供 的 不 是 最 终 答 案 ， 只 是 参考 答案 ， 帮 助 是 暂 
时 的 ， 而 更 好 的 方法 和 答案 还 在 不 久 的 未 来 。 


结语 








A Reveition That 


Will Transform How We Live, 
York Think 


Wee, WAF h 


麦克 ' 弗 劳 尔 (Mike Flower ) 是 21 世纪 初 曼 哈 顿 地 区 检察 官办 公 室 的 一 
名 律师 ， 负 责 过 从 谋杀 案 到 华尔街 金融 犯罪 等 一 切 诉 讼 案件， 后 来 他 转 到 一 
家 大 型 的 企业 律师 事务 所 工作 。 在 办 公 梨 后 度 过 了 无 聊 的 一 年 后 ， 他 决定 离 
开 。 他 想 做 些 更 有 意义 的 事情 ， 随 即 想 到 了 去 帮助 重建 伊拉克 。 在 公司 的 一 
位 朋友 给 高 层 打 了 几 个 电话 后 ， 弗 劳 尔 被 派 去 了 绿色 区 域 ， 也 就 是 美军 驻 巴 
格 达 市 中 心 的 安全 地 带 ， 成 为 院 达 姆 : 侯 赛 因 审判 律师 团 中 的 一 名 律师 。 


他 主要 负责 后 勤 事务 ， 而 不 是 相关 的 法 律 工作 。 他 负责 将 证 人 运送 到 绿 
色 区 域 ， 其 间 需 要 安全 通过 无 数 每 天 都 会 上 演 的 简易 爆炸 装置 袭击 (IED )。 
他 看 到 了 军队 人 员 是 如 何 将 这 当 作 数 据 问题 来 进行 处 理 的 。 情 报 分 析 员 结合 
实地 考察 报告 和 过 去 ED 袭击 地 点 、 时 间 和 人 员 伤 亡 的 详细 信息 ， 据 此 预测 
一 天 中 最 安全 的 运送 路 线 。 
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在 弗 筋 尔 回 到 纽约 两 年 后 ， 他 意识 到 这 些 方法 其 实 是 一 个 打击 犯罪 的 有 
力 有 利 方 式 ， 比 他 过 去 作为 检察 官 所 和 擎 握 的 方式 更 有 力 。 弗 荔 尔 之 后 被 任命 
为 专案 组 成 员 ， 研 究 可 能 揭露 2009 年 次 贷 丑 闻 罪 犯 的 数据 。 这 个 团队 做 得 非 
常 出 色 ， 以 至 于 一 年 后 ,纽约 市 长 布 隆 伯 格 要 求 扩大 规模 。 弗 劳 尔 成 了 全 市 
站 个 “分 析 主 任 "， 他 的 任务 就 是 找到 最 优秀 的 数据 科学 家 并 组 建 团队 ,利用 
城市 尚未 开发 的 信息 库 ， 收 获 一 切 可 能 的 效益 。 


弗 劳 尔 为 了 找到 合适 的 人 而 广泛 撒 网 。“ 我 对 经 验 丰 富 的 统计 学 家 没有 兴 
趣 ， 我 担心 他 们 不 愿意 采取 这 种 新 方法 来 解决 问题 。 当 他 采访 统计 学 家 对 金 
融 诈 骗 项 目的 看 法 时 ,他们 往往 会 提出 星 涩 难 懂 的 数学 问题 。“ 我 甚至 没有 想 
到 我 要 使 用 什么 样 的 模式 。 我 想 要 可 执行 的 洞察 力 ,这 是 我 所 关注 的 。” 他 说 。 
最 后 弗 劳 尔 一 共 挑 选 了 5 个 人 组 成 团队 ,他 称 他 们 为 “小 伙 子 ”。 除 一 名 成 员外 ， 
其 他 都 是 刚 毕 业 一 两 年 的 经 济 学 专业 学 生 ， 而 且 从 未 在 大 城市 生活 过 ,但 他 
们 都 很 有 创造 力 。 


他 们 最 早 处 理 的 事件 之 一 是 “非法 改建 ,即将 一 套 住房 隔 出 很 多 小 房间 ， 
这 样 就 能 够 多 容纳 10 倍 的 人 。 非 法 改建 会 带 来 巨大 的 火灾 隐患 ， 也 是 犯罪 、 
毒品 、 疾 病 和 虫害 孵化 的 温床 。 乱 麻 一 般 的 分 机 线 绳 会 沿 墙壁 穿 过 ， 电 炉 可 
能 会 放 在 床单 的 上 面 ， 一 旦 发 生火 灾 ， 人 也 许 会 被 庄 得 紧 紧 的 葬身 于 火海 。 
2005 年 ， 两 名 消防 队员 因 营 救 非法 改建 住房 的 人 而 死亡 。 纽 约 市 每 年 会 受到 
约 25 000 起 非法 改建 的 投诉 ， 但 只 有 200 名 检察 员 在 处 理 这 些 事情 。 似 乎 没 
有 什么 好 办 法 来 区 分 简单 的 滋 扰 事件 和 严重 爆炸 起 火 事件 。 但 对 弗 劳 尔 和 他 
的 小 伙 子 们 来 说 ， 这 看 起 来 更 像 是 一 个 可 以 用 大 量 数据 来 解决 的 问题 。 


他 们 将 城市 里 的 90 万 栋 建 筑 都 列 在 表 上 ， 然 后 输入 来 自 19 个 不 同 机 构 
的 数据 集 。 这 些 数据 显示 了 建筑 业主 是 否 拖欠 了 应 缴 房 产 税 ， 是 否 有 止 赎 诉 
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讼 ， 是 否 有 公用 设施 使 用 异常 或 导致 服务 消减 的 未 付款 项 。 他 们 还 输入 了 建 
筑 类 型 、 修 建 时 间 、 救 护 车 访问 次 数 、 犯 罪 率 和 吐 齿 动物 投诉 等 信息 。 然 后 ， 
他 们 将 这 些 数据 与 五 年 来 的 火灾 严重 性 排名 数据 进行 对 比 并 得 到 一 个 模型 ， 
以 此 预测 哪些 投诉 迫切 需要 调查 。 


最 初 ， 许 多 数据 形式 都 不 可 用 。 例 如 ， 在 一 个 城市 里 ， 描 述 地 理 位 置 的 
方法 不 是 唯一 的 ， 每 个 机 构 和 部 门 似乎 都 有 自己 的 描述 方式 。 建 筑 部 门 给 巴 
每 个 建筑 物 一 个 独特 的 号 码 ; 房屋 维护 部 门 也 有 自己 独 有 的 编号 系统 ; 税务 
部 门 依照 街区 和 地 皮 ， 给 予 每 个 建筑 物 特定 的 标识 ; 警察 局 采用 人 省 卡尔 坐标 
A; 消防 局 依托 “电话 亭 ” 临 近 体系 ， 将 建筑 物 与 各 个 消防 站 的 位 置 联系 在 
一 起 ， 尽 管 这 种 电话 亭 并 非 真 实 存 在 。 弗 劳 尔 的 小 伙 子 们 处 理 这 种 不 统一 的 
方式 是 : 以 笛 卡 尔 坐 标 系 为 基础 ， 取 用 建筑 物 周围 的 一 片 辐射 范围 并 从 其 他 
机 构 的 数据 库 调 取 地理 位 置 数据 ， 从 而 建立 一 个 系统 。 这 些 数据 本 身 并 不 精 
ij, ABA ABFA TROBE. 


尽管 如 此 ， 他 们 并 不 满足 于 仅仅 对 数据 进行 运算 ， 而 是 会 到 现场 观看 检 
查 员 们 工作 。 他 们 不 断 做 着 大 量 笔记 ， 并 询问 一 切 流 程 的 开展 效 末 。 当 一 个 
头发 斑 白 的 领头 人 哼 了 一 声 说 “找到 那个 建筑 不 是 问题 ”时 ， 他 们 很 想 知 赴 
为 什么 这 个 人 会 这 么 自信 。 但 领头 人 自己 也 说 不 清楚 为 什么 ， 不 过 弗 劳 尔 的 
小 伙 子 们 渐渐 发 现 ， 这 种 直觉 来 自 建筑 物 外 新 的 砖 工 ， 它 暗示 着 建筑 物 的 主 
人 很 重视 这 个 地 方 。 

小 伙 子 们 回 到 自己 的 工作 间 ， 钻 研 着 如 何 能 将 “最 新 砖 工 ” 作 为 一 种 信 
号 融入 到 他 们 的 模型 中 ， 毕 竟 ， 砖 块 是 没有 被 数据 化 的 。 但 是 可 以 肯定 的 是 ， 
做 任何 外 部 砖 工 都 需要 城市 许可 证 。 通 过 指出 可 疑 财产 可 能 并 不 是 一 个 主要 
的 风险 ， 这 些 信息 提高 了 系统 的 预测 功能 。 
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这 种 分 析 法 或 许 揭示 了 : 有 些 历 史 最 悠久 的 做 事 方法 并 不 是 最 好 的 ， 融 
好 比 《 点 球 成 金 》 中 的 球 探 们 不 得 不 接受 他 们 直觉 中 的 缺陷 一 样 。 例 如 ， 人 
们 将 城市 “311” 投 诉 热线 的 来 电 数 量 用 于 衡量 问题 严重 性 的 指标 ,来电 越 多 
说 明 问 题 越 严 重 。 但 是 这 种 引导 是 错误 的 。 在 繁华 的 上 东区 发 现 一 只 老鼠 也 
许 会 在 仅仅 一 个 小 时 之 内 引发 30 个 投诉 电话 。 然 而 在 布 明 克 其 区， 街坊 只 有 
在 看 到 成 群 结 队 的 老鼠 时 ， 才 会 觉得 有 必要 打 个 投诉 电话 。 同 样 ， 很 多 非法 
改建 的 投诉 也 许 会 让 人 们 议论 纷纷 ， 但 是 其 后 果 并 没有 那么 严重 。 


2011 年 6 月 ， 弗 劳 尔 和 他 的 小 伙 子 们 按 下 了 北 转 的 开关 。 他 们 每 周 浏 览 
一 次 可 归 为 “非法 改建 ”一 类 的 投诉 ， 收 集 了 历史 上 前 百 分 之 五 的 火险 ， 并 
将 这 些 交 给 检查 员 立 刻 跟 进 。 当 拿 回 结果 时 ， 所 有 人 都 惊 采 了 。 


在 大 量 数据 分 析 之 前 ， 检 查 员 会 先 跟 进 他 们 ”， 大 数据 的 力量 。 
认为 最 急迫 的 投诉 , 而 只 有 13% 的 案件 足够 严重 ， ， BIG p ATA 
需要 立刻 去 处 理 。 现 在 ， 他 们 立即 处 理 的 投诉 案 Areecane 
件 占 他 们 所 有 安全 监测 的 70%。 大 量 数据 节省 了 
检查 员 的 时 间 ， 将 效率 提高 到 原来 的 5 倍 。 他 们 
的 工作 也 越 来 越 令 人 满意 : 精力 都 集中 于 最 严重 
的 问题 。 他 们 新 发 现 的 成 果 还 带 来 了 额外 利益 。 
非法 改建 中 的 火灾 更 可 能 导致 消防 员 受伤 或 死亡 ， 
概率 是 普通 案件 的 15 倍 。 因 此 ， 这 种 逆转 使 得 消 
防 局 非常 满意 。 弗 劳 尔 和 他 的 小 伙 子 们 就 好 像 下 
师 一 样 ， 手 中 的 水 晶 球 让 他 们 可 以 预见 未 来 ， 看 
到 哪里 是 最 危险 的 。 他 们 利用 了 大 量 搁置 多 年 的 
数据 ， 这 些 数据 自 收集 以 来 几乎 没 被 用 过 。 他 们 
利用 这 些 信息 ， 用 新 的 方法 管理 这 些 信 息 ， 从 而 
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提取 出 它们 真正 的 价值 。 他 们 从 大 的 信息 库 中 炙 
放 了 洞察 力 ， 而 这 在 较 小 数据 中 是 做 不 到 的 ， 这 
就 是 大 数据 的 缩影 。 


纽约 市 分 析 炼 金 师 的 经 验 突 显 了 本 书 中 的 不 少 主题 。 他 们 使 用 了 庞大 的 
数据 量 ， 而 不 仅 是 一 些 数据 ; 他 们 所 列 的 城市 建筑 基本 上 可 以 视 为 N = 全 集 。 
位 置信 息 或 救护 车 记录 等 数据 比较 姿 乱 ,但 是 这 并 没 让 他 们 就 此 放弃 。 更 多 
数据 所 市 来 的 好 处 远 比 原始 信息 少 所 市 来 的 紧 端 更 重要 。 他 们 之 所 以 能 取得 
成 功 ， 是 因为 城市 的 很 多 功能 都 以 数据 的 形式 呈现 ( 尽管 存在 不 一 致 )， 从 而 
使 他 们 能 够 处 理 和 使 用 这 些 信息 来 提高 预测 效 采 。 


专家 上 暗示， 无 论 是 自 大 的 统计 学 家 还 是 专 管 投诉 热线 的 公务 员 ， 在 数据 
驱动 方法 面前 都 应 退 居 次 席 。 与 此 同时 ， 弗 劳 尔 和 他 的 小 伙 子 们 不 断 地 让 经 
验 丰 富 的 检查 员 来 测试 他 们 的 模型 ， 价 鉴 检 察 员 们 的 经 验 ， 使 系统 表现 得 更 
好 。 这 个 项 目 成 功 最 重要 的 原因 是 ， 它 更 多 依赖 的 是 相关 关系 而 非 因 采 关系 。 


“我 对 因果 关系 不 感 兴趣 ， 除 非 它 用 行动 说 话 。” 弗 劳 尔 解释 

“因果 关系 是 别人 的 事 ， 坦 和 白 说 ， 谈 论 因 果 关 系 是 非常 冒险 的 。 
我 不 认为 有 人 提出 房产 止 赎 程序 和 那个 地 方 是 否 有 结构 防火 的 历史 
风险 之 间 有 任何 关系 。 我 认为 这 么 想 很 显 态 。 他 们 会 认为 有 一 些 潜 
在 的 因素 ， 但 没有 人 会 站 出 来 承认 。 我 不 想 深究 这 个 ， 我 需要 一 
能 够 得 到 的 特定 数据 点 来 告诉 我 它 的 意义 。 如 果 它 很 重要 ， 我 们 就 
会 采取 行动 。 如 果 不 重要 ， 我 们 就 不 会 行动 。 你 知道 ， 我 们 有 真正 
需要 解决 的 问题 。 我 不 会 用 边 ， 或 者 像 现 在 一 样 想 着 因果 关系 的 
# JL,” 
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大 数据 时 代 ， 名 副 其 实 的 “信息 社会 ” 


大 数据 在 实用 层面 的 影响 很 广泛 ,解决 了 大 量 的 日 常 问 题 。 大 数据 更 是 
利害 依 关 的 ， 它 将 重 塑 我 们 的 生活 、 工 作 和 思维 方式 。 在 某 些 方面 ， 我 们 面 
临 着 一 个 僵局 ， 比 其 他 划时代 创新 引起 的 社会 信息 范围 和 规模 急剧 扩大 所 市 
来 的 影响 更 大 。 我 们 脚下 的 地 面 正在 移动 。 过 去 确定 无 疑 的 事情 正在 受到 质 
疑 。 大 数据 需要 人 们 重新 讨论 决策 、 命 运 和 正义 的 性 质 。 我 们 的 世界 观 正 受 
到 相关 性 优势 的 挑战 。 拥 有 知识 曾 意 味 痢 掌握 过 去 ， 现 在 则 更 意味 看 能 够 预 
测 未 来 。 


当 我 们 准备 开发 电子 商务 、 喻 生活 于 互联 网 、 进 入 计算 机 时 代 或 者 拿 起 
算盘 时 ， 这 些 事 情 比 那些 代表 他 们 的 问题 更 加 重要 。 我 们 寻找 原因 的 想法 可 
能 被 高 佑 了 ， 很 多 情况 下 ， 弄 清楚 是 什么 比 找寻 为 什么 更 加 重要 ， 因 为 前 者 
表明 事实 才 是 我 们 生活 和 思维 的 基础 。 它 们 可 能 没有 答案 ; MWR, ENER 
于 人 在 宇宙 中 的 位 置 以 及 在 喧嚣 混乱 、 不 可 理喻 的 世界 中 寻找 意义 这 一 永恒 
争论 的 一 部 分 。 


最 终 ， 大 数据 标志 春 “ 信 息 社 会 ”终于 名 副 其 实 。 我 们 收集 的 所 有 数字 
信息 现在 都 可 以 用 新 的 方式 加 以 利用 ， 尝 试 新 的 事物 并 开局 新 的 价值 形式 。 
但 是 ， 这 需要 一 种 新 的 思维 方式 ， 并 将 挑战 我 们 的 社会 机 构 ， 其 至 挑战 我 们 
的 认同 感 。 可 以 肯定 的 是 ， 数 据 量 将 继续 增长 ， 处 理 这 一 切 的 能 力也 是 如 此 。 
但 是 ， 现 在 大 多 数 人 都 认为 大 数据 是 一 个 技术 问题 ， 应 侧重 于 便 件 或 软件 ， 
而 我 们 认为 应 当 更 多 地 考虑 当 数据 说 话 时 会 发 生 什 么 。 
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现在 ， 我 们 可 以 获得 比 以 前 更 多 的 信息 并 进行 分 析 。 





BiG DATA | ET 
ARovehtion That 我 们 可 以 利用 更 多 的 数据 ， 某 些 情况 下 ， 甚 至 是 全 部 数据 。 
Wort ans thnk | 但 是 这 需要 我 们 采取 非 传统 的 方法 ， 特 别 是 要 改变 我 们 理 
大 数据 洞察 想 中 构成 有 用 信息 的 因素 。 


除了 纠结 于 数据 的 准确 性 、 正 确 性 、 纯 洁 度 和 严格 度 之 外 ， 我 们 也 应 该 
容许 一 些 不 精确 的 存在 。 数 据 不 可 能 是 完全 对 或 完全 错 的 。 当 数据 的 规模 以 
数量 级 增加 时 ,这 些 混乱 也 就 算 不 上 问题 了 。 事 实 上 , 它 甚 至 可 以 是 有 好 处 的 ， 
因为 当 我 们 只 想 使 用 一 小 部 分 时 ， 无 须 捕 捉 这 么 多 的 知识 细节 。 因 为 我 们 可 
以 用 更 快 更 便宜 的 方式 找到 数据 的 相关 性 ， 并 且 效 果 往 往 更 好 ， 而 不 必 努 力 
去 寻找 因果 关系 。 当 然 在 某 些 情况 下 ， 我 们 仍然 需要 精心 策划 的 数据 来 做 因 
果 关 系 研究 和 控制 实验 ， 如 测试 药物 的 副作用 或 设计 关键 飞机 部 件 。 但 是 在 
日 常情 况 下 ， 知 道 是 什么 就 已 经 足够 ， 不 必 非 要 弄 清楚 为 什么 。 大 数据 的 相 
关 性 将 人 们 指向 了 探讨 因果 关系 的 更 有 前 景 的 领域 。 


这 些 相关 性 能 让 我 们 节省 机 票 钱 和 预测 流感 爆发 ， 并 知道 在 一 个 资源 有 
限 的 世界 中 应 该 检查 哪些 沙井 和 过 度 拥 挤 的 建筑 物 。 它 可 以 帮助 健康 保险 公 
司 不 作物 理 考 察 就 能 决定 保险 覆盖 面 ， 并 降低 提醒 病人 服药 的 成 本 。 通 过 大 
数据 的 相关 性 ,语言 可 以 得 到 翻译 ,汽车 可 以 在 预测 的 基础 上 目 行 备 驶 。 沃 
尔 玛 可 以 了 解 飓 风 前 应 在 门店 准备 哪 种 口味 的 蛋 扑 ”"。 当 然 ， 如 果 能 从 中 得 
到 因果 关系 更 好 。 问 题 是 ， 因 果 关 系 往往 很 难 找到 ， 通 常 我 们 认为 找到 了 的 
WIR, ARETE AKA. 


中 ER: HBR, —(Pale 
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正在 发 生 的 未 来 


我 们 之 所 以 能 做 所 有 这 些 事 ， 新 工具 只 是 个 很 小 的 因素 ， 无论 是 更 快 的 
处 理 禹 、 更 多 的 存储 条， 还 是 更 智能 的 软件 和 算法 。 这 些 固然 重要 ， 但 是 更 
为 根本 的 原因 是 我 们 拥有 了 更 多 的 数据 ， 继 而 世界 上 更 多 的 事物 被 数据 化 了 o 
诚然 ， 人 类 量化 世界 的 雄心 先 于 计算 机 章 命 ， 但 是 数字 工具 将 数据 化 提升 到 
了 新 的 高 度 。 不 仪 移 动 电话 能 够 跟踪 到 我 们 呼叫 的 人 和 我 们 所 在 的 位 置 ， 而 
且 同 样 的 数据 也 能 用 于 断定 我 们 是 否 生病 了 。 不 久之 后 ， 它 或 许 还 能 够 辨别 
我 们 是 否 恋爱 了 。 


我 们 “做 新 、 做 多 、 做 好 、 做 快 ”的 能 力 能 释放 出 无 

限 价值 ， 产 生 新 的 赢家 和 输家 。 大 部 分 的 信息 价值 来 自 二 

ie e 级 用 途 ， 即 选择 价值 ， 而 不 是 我 们 所 习惯 认为 的 基本 用 途 。 

Wi Tenson How We Lie。 | 结果 ， 对 于 大 多 类 数据 来 说 ， 尽 可 能 多 地 收集 、 等 待 信息 

大 数据 洞察 增值 并 且 让 其 他 更 适合 挖 气 其 价值 的 人 来 分 析 它 才 是 明知 
之 举 ( 前 提 是 此 人 能 够 分 享 开发 出 的 利润 ) 





能 置身 于 信息 流 中 央 并 且 能 收集 数据 的 公司 通常 会 繁 采 兴旺 。 有 效 利 用 
大 数据 需要 专业 技术 和 丰富 的 想象 力 ， 即 一 个 能 容纳 大 数据 的 心态 。 但 价值 
的 核心 归功 于 数据 本 身 。 有 时 ， 重 要 的 资产 并 不 仅仅 是 能 清楚 看 到 的 信息 ， 
更 是 从 人 们 与 信息 交互 中 收集 到 的 数据 废气 ， 聪明 的 公司 可 以 用 它 来 改善 现 
有 的 服务 ， 或 推出 全 新 的 服务 。 


大 数据 同时 也 给 我 们 市 来 了 巨大 的 风险 。 它 不 仅 抹杀 了 目前 用 以 保护 隐 
私 的 法 律 和 技术 手段 ， 还 催生 出 一 系列 无 效 的 核心 技术 方法 和 法 律 手段 用 以 
保护 大 数据 。 过 去 个 人 喘 份 信息 包含 的 是 名 字 、 社 会 安全 号 码 、 税 收 记录 等 ， 
其 构成 简单 明了 。 因 此 隐私 保护 相对 比较 简单 ， 只 要 确保 不 使 用 这 些 信息 即 
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大 数据 时 代 


可 。 而 今天 ， 即 使 是 最 无 害 的 数据 ， 只 要 被 数据 收集 器 采集 到 足够 的 量 ， 也 
会 骏 露 出 个 人 身份 。 匿 名 化 或 是 单纯 隐藏 已 不 再 适用 。 不 仅 如 此 ， 现 在 要 是 
对 茶 人 进行 监督 ， 必 定 会 侵犯 到 较 之 以 往 范 围 更 广 的 个 人 隐私 内 容 。 因 为 政 
府 在 管理 上 不 仅 要 求 个 人 信息 尽 可 能 完善 ， 还 须 记 录 其 所 有 的 社会 关系 、 交 
往 和 交流 信息 。 


无 论 大 数据 如 何 威胁 到 隐私 保护 ， 最 让 人 们 头疼 的 都 是 行为 倾向 问题 。 
大 数据 预测 的 准确 性 越 来 越 高 ， 它 能 够 预测 行为 的 发 生 ， 在 人 们 犯错 之 前 ， 
提前 惩处 。 因 为 预测 的 结果 几乎 不 可 反驳 ， 人 们 也 就 无 法 为 自己 开脱 。 但 这 
种 基于 预测 得 出 的 惩 麟 不 仅 违背 目 由 意志 的 原则 ， 同 时 也 否定 了 人 们 会 突然 
改变 选择 的 可 能 性 ( 无论 可 能 性 有 多 小 )。 当 我 们 给 一 个 人 判定 责任 ( 并 给 予 
RET) 时 ， 必 须 牢 记 人 类 意志 的 神圣 不 可 侵犯 性 。 人 类 的 未 来 必须 保留 部 分 
空间 ， 人 允许 我 们 按照 目 己 的 愿望 进行 塑造 。 否 则 ， 大 数据 将 会 扭曲 人 类 最 本 
质 的 东西 ， 即 理性 思维 和 目 由 选择 。 


应 对 大 数据 的 测 涌 来 袭 ， 我 们 没有 万 无 一 失 的 方法 ， 必 须 建立 规范 自身 
的 新 准则 。 随 着 社 会 越 来 越 熟悉 大 数据 的 特征 和 缺陷 ， 我 们 可 以 改变 一 系列 
的 惯例 来 帮助 社会 应 对 这 种 冲击 。 我 们 需要 把 进行 隐私 保护 的 责任 从 个 人 转 
移 到 数据 使 用 者 身上 ， 也 就 是 说 ， 数 据 使 用 者 应 该 以 负责 任 的 态度 使 用 数据 。 


在 一 个 预测 的 时 代 里 ， 人 类 的 目 由 意志 神圣 而 不 可 侵犯 ， 这 一 点 不 可 轻 
饮 。 我 们 不 仅 需要 承认 个 人 进行 道德 选择 的 能 力 ， 还 要 强调 个 人 应 为 目 我 行 
为 承担 责任 。 社 会 则 必须 采取 新 的 保护 措施 : 接受 一 种 新 的 职业 人 ， 也 就 是 
数据 程序 员 ， 对 大 数据 分 析 进 行 评 佑 。 如 此 ， 因 为 大 数据 而 变 得 可 预测 的 世 
界 ， 才 不 会 陷入 一 个 用 一 种 未 知 取代 男 一 种 未 知 的 困境 中 ， 不 会 变 成 一 个 黑 
EF. 
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结 语 
正在 发 生 的 未 来 


大 数据 将 成 为 理解 和 解决 当今 许多 紧迫 的 全 球 问题 所 不 可 或 缺 的 重要 工 
具 。 例 如 要 应 对 气候 变化 问题 时 ， 需 要 对 污染 相关 数据 进行 分 析 ， 得 出 最 佳 
方案 ,来 指导 努力 方向 ， 找 出 缓解 问题 的 方法 。 全 球 范围 内 遍布 的 大 量 传 感 
设备 ， 包 括 智能 手机 内 部 的 传 感 副 ， 使 我 们 能 够 以 更 高 的 细节 水 平 模拟 场景 。 
而 世界 贫困 人 口 迫 切 需 要 提高 医疗 保健 服务 ， 降 低 医 疗 费 用 , 这 很 大 程度 上 
可 以 徘 目 动 化 来 实现 。 当 下 许多 似乎 需要 人 类 判断 才能 进行 的 事情 ， 其 实 完 
全 可 以 交 由 电脑 来 做 ， 比 如 瘤 细胞 活检 、 传 染病 爆发 前 期 的 模式 预测 等 。 


大 数据 也 被 用 于 发 展 经 济 和 理解 如 何 预 防 冲 突 。 基 于 手机 动向 数据 显示 ， 
非洲 许多 贫民 朝 地 区 经 济 活 动 十 分 活跃 。 大 数据 还 揭示 了 最 可 能 引发 种 族 关 
系 系 张 的 社区 以 及 解除 难民 危机 的 方式 。 只 有 当 科 技 应 用 至 生活 的 方方面面 
时 ， 大 数据 的 使 用 范围 才能 进一步 扩大 。 


大 数据 能 帮助 我 们 更 好 地 进行 已 有 的 工作 ， 并 人 处理 全 新 的 事务 。 但 它 绝 
不 是 魔术 棒 ， 不 会 带 来 世界 和 平 ， 无 法 根 绝 贫穷 问题 ， 更 不 能 创造 出 另 一 个 
毕加索 。 大 数据 不 能 造 婴 儿 ， 虽 然 它 确实 可 以 救助 早产 儿 。 不 要 和 多久， 我 们 
将 在 生活 的 各 个 方面 使 用 到 大 数据 ， 如 果 不 用 的 话 还 可 能 会 引起 些许 焦虑 ， 
这 种 情况 就 像 普 通体 检查 不 出 问题 时 ， 会 希望 有 医生 帮 有 我 们 预约 X 光 进 行 
检查 。 


当 大 数据 成 为 日 常生 活 的 一 部 分 后 ， 它 将 会 极 大 地 改变 我 们 对 未 来 的 看 
法 。 大 约 五 百年 前 ， 欧 洲 在 逐渐 发 展 为 更 加 目 由 、 科 学 、 文 明 世 界 的 进程 中 ， 
欧洲 人 经 历 了 对 时 间 认 知 的 重大 转变 。 在 此 之 前 ， 时 间 被 认为 是 循环 的 ， 生 
命 也 是 轮转 的 。 每 天 或 每 年 与 过 去 的 日 子 如 出 一 略 ， 其 至 连 生 命 的 终结 也 与 
起 点 相似 ， 因 为 濒 死 的 成 人 会 显示 出 孩子 的 特征 。 认 知 转变 后 ， 时 间 变 作 线 
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性 的 ， 成 了 一 条 岁月 演变 过 程 ， 过 程 中 世界 因 人 变化 ， 生 命 的 轨迹 也 受到 相 
应 的 影响 。 如 果 说 这 以 前 的 历史 中 ， 过 去 、 当 下、 未 来 的 概念 是 完全 融合 的 ， 
那么 通过 塑造 当下 ， 人 类 现在 便 有 了 过 去 可 以 回顾 ， 有 了 未 来 可 以 展望 。 


虽然 我 们 可 以 塑造 当下 ， 但 未 来 却 从 过 去 的 “完全 可 预测 ”转变 为 一 其 
开放 又 原始 、 广 阔 而 空白 的 帆布 ， 所 有 人 都 可 以 在 上 面 依据 自己 的 价值 ， 努 
力 裁剪 塑 形 。“ 现 代 ” 的 一 个 定义 性 特征 便 是 人 类 感到 目 己 是 命运 的 主人 ， 
这 使 我 们 与 认为 规范 即 宿命 的 先辈 们 变 得 不 同 。 但 是 大 数据 预测 却 又 使 我 们 
的 生命 帆布 不 再 那么 开放 、 原 始 和 纯净 。 对 于 善于 运用 科技 解读 未 来 的 人 来 
说 ， 我 们 的 未 来 不 再 是 只 字 未 书 的 画布 ， 而 是 似乎 已 经 被 春 以 淡淡 的 凑 迹 。 
未 来 的 可 读 性 似乎 缩小 了 塑造 命运 的 空间 ， 而 潜力 也 被 扼杀 在 更 大 的 可 能 
性 中 。 


与 此 同时 ， 大 数据 又 意味 着 我 们 将 永远 受 困 于 过 去 的 行为 ， 这 些 行为 在 
预知 我 们 下 一 步 动 作 的 预测 过 程 中 与 我 们 作对 ， 即 我 们 永远 无 法 逃避 已 发 生 
的 事 。 莎 士 比 亚 曾 写 道 :“ 凡 是 过 去 ， 皆 为 序曲 。” 大 数据 通过 运算 将 这 人 句 语 
铭刻 ， 无 论 结果 好 坏 一 一 无 论 这 句 话 是 否 会 浇 炸 我们 迎接 下 一 个 日 出 的 热情 ， 
BST RNA TENS. 





其 实 ， 事 实 很 有 可 能 是 相反 的 。 知 道行 为 在 未 来 如 何 谢幕 ， 我 们 便 可 以 
采取 补救 措施 ， 避 免 问 题 发 生 并 改善 结局 。 我 们 能 在 期 末 考 试 之 前 早早 发 现 
有 退步 趋势 的 学 生 。 我 们 能 检测 到 微小 的 癌变 ， 赶 在 疾病 完全 爆发 前 根治 。 
我 们 能 看 到 青春 期 意外 妊娠 的 可 能 性 ,或 是 预测 到 某 种 犯罪 生涯， 然后 尽力 
干预 ， 避 免 出 现 可 能 的 悲剧 结局 。 例 如 拥挤 的 纽约 住宅 着 火 的 时 候 ， 如 末 能 
事先 知道 并 从 几 间 最 可 能 是 火 源 的 公寓 着 手 ， 将 会 免除 一 场 致命 的 火灾 。 
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没有 什么 是 上 天 注定 的 ， 因 为 我 们 总 能 就 手中 的 信息 制定 出 相应 的 对 策 。 
大 数据 预测 结果 也 并 非 铁定 ， 而 只 是 提供 了 一 种 可 能 性 ， 也 就 是 说 ， 只 要 我 
们 愿意 ， 结 局 可 以 改写 。 我 们 可 以 判断 出 迎接 未 来 的 最 佳 方式 ， 摇 身 变 做 未 
来 的 主人 ， 正 如 更 里 在 海 与 风 的 广阔 世界 中 乘风破浪 一 般 。 在 过 程 中 我 们 无 
须 理解 宇宙 的 奥秘 或 是 去 证 明神 的 存在 ， 因 为 大 数据 已 经 帮 我 们 做 好 了 。 


更 大 的 数据 源 于 人 本 身 


大 数据 改造 了 我 们 的 生活 ， 它 能 优化 、 提 高 、 高 效 化 并 最 终 捕 捉 住 利益 ， 
那 直 党、 信仰 、 不 确定 性 和 创意 还 能 扮演 什么 角色 呢 ? 


就 算 大 数据 无 法 教会 我 们 所 有 事情 ， 只 要 能 帮助 我 们 表现 更 佳 、 更 富 效 
率 、 取 得 进步 ， 就 算 缺 乏 深入 理解 也 是 很 和 用 的 了 。 一 贯 如 是 地 坚持 下 去 才 
有 效力 。 即 使 你 不 明日 为 什么 付出 的 努力 得 不 到 回报 ， 但 相 比 不 努力 ， 你 要 
明日 你 已 经 在 改善 事情 的 结局 了 。 纽 约 的 弗 劳 尔 和 他 的 “小 伙 子 们 ”也 许 并 
没有 圣人 圣明 的 判断 力 ， 但 他 们 确实 在 拯救 生命 。 大 数据 不 会 即刻 提高 效率 ， 
但 经 受 住 时 间 的 考验 后 ， 它 将 生出 智慧 的 结晶 。 


大 数据 并 不 是 一 个 充斥 着 运算 法 则 和 机 器 的 冰冷 世界 ， 
其 中 仍 需要 人 类 扮演 重要 角色 。 人 类 独 有 的 弱点 、 错 觉 、 
铺 误 都 是 十 分 必要 的 ， 因 为 这 些 特性 的 另 一 头 牵 着 的 是 人 





Will Transform How We Live. 


Work, and Think 类 的 创造 力 、 直 觉 和 天 赋 。 偶 尔 也 会 带 来 届 辱 或 固执 的 同 
大 数据 洞察 样 混乱 的 大 脑 运作 ， 也 能 带 来 成 功 ， 或 在 偶然 间 促成 我 们 


的 伟大 。 这 提示 我 们 应 该 乐于 接受 类 似 的 不 准确 ， 因 为 不 
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准确 正 是 我 们 之 所 以 为 人 的 特征 之 一 。 就 好 像 我 们 学习 处 
理 混乱 数据 一 样 ， 因 为 这 些 数据 服务 的 是 更 加 广大 的 目标 。 
毕竟 混乱 构成 了 世界 的 本 质 ， 也 构成 了 人 脑 的 本 质 ， 而 无 
论 是 世界 的 混乱 还 是 人 脑 的 混乱 ， 学 会 接受 和 应 用 它们 才 
能 得 益 。 


在 这 个 利用 数据 做 出 决定 的 世界 里 ， 人 类 存在 的 目的 是 什么 ? 难道 是 为 
了 运用 直觉 和 违背 事实 ? 如果 所 有 人 都 诉 诸 数据 ， 都 利用 工具 ， 那 时 人 类 的 
无 法 预测 性 即 直觉 、 冒 险 精 神 、 意 外 和 错误 等 ， 反 倒 可 能 发 挥 出 重大 作用 。 


如 果真 变 成 这 样 ， 为 人 类 开 群 出 一 块 领地 ， 为 直觉 、 和 常识 和 意外 运气 腾 
出 空间 就 十 分 必要 ， 以 确保 它们 不 被 数据 和 机 器 回答 挤兑 出 去 。 人 类 最 伟大 
之 处 正 是 运算 法 和 硅 片 没有 揭示 也 无 法 揭示 的 东西 ， 因 为 数据 也 无 法 捕捉 到 
这 些 。 并 不 是 “人 类 最 伟大 的 东西 是 什么 ” ， 而 是 “什么 不 是 人 类 最 伟大 的 产 
物 ” 真空 、 人 行道 上 的 裂缝 、 未 说 出 口 的 话 还 是 未 想到 的 事 ? 





这 为 “社会 进步 ”的 概念 提供 了 重要 启示 。 大 数据 让 我 们 试验 的 速度 更 
快 ， 发 现 的 线索 更 多 。 这 理应 能 够 产生 更 多 的 创新 成 果 ， 但 发 明 的 火花 却 往 
往 存 在 于 数据 未 显示 出 的 信息 之 中 ， 因 为 它 并 非 真实 存在 ， 是 多 大 量 的 数据 
都 永远 无 法 确定 或 证 实 的 。 如 果 享 利 * 福特 问 大 数据 他 的 顾客 想 要 的 是 什么 ， 
大 数据 将 会 回答 ,“ 一 辆 更 快 的 坐骑 。”“ 在 大 数据 的 世界 中 , 包括 创意 、 直觉、 
冒险 精神 和 知识 野心 在 内 的 人 类 特性 的 培养 显得 尤为 重要 ， 因 为 进步 正 古 奖 
目 我 们 的 独创 性 。 


D KARASH . 福特 的 名 言 一 “如 果 我 当年 去 问 顾客 他 们 想 要 什么 ,他 们 肯定 会 告诉 我 :“ 一 
辆 更 快 的 坐骑 。” 一 一 作者 注 
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结 语 


正在 发 生 的 未 来 


大 数据 是 一 种 资源 ， 也 是 一 种 工具 。 它 告知 信息 但 不 解释 信息 。 它 指导 
人 们 去 理解 ， 但 有 时 也 会 引起 误解 ， 这 取决 于 是 否 被 正确 使 用 。 大 数据 的 力 
BEAD AMER, RTA BRE MICE ER, FET ASE VA BE 


科技 再 先进 也 无 法 将 世界 上 数据 的 总 量 ( 即 最 终 的 样本 = 总 体 ) 尽数 收 
集 、 储 存 和 加 工 。 例 如 ， 欧 洲 粒 子 物 理 研 究 所 (CERN ) 位 于 日 内 瓦 的 粒子 
物理 实验 室 在 试验 中 只 能 收集 到 不 到 0.1% 的 反馈 信息 ， 其 余 信息 将 同 潜在 
的 知识 一 起 消失 在 乙醚 中 。 这 种 情况 司空 见 惯 。 从 罗盘 和 六 分 仪 ， 到 望远镜 
和 雷达 ， 再 到 今天 的 全 球 定位 系统 ， 人 们 总 是 受到 现 有 测量 和 认 知 工具 的 局 
限 。 我 们 明天 使 用 的 工具 很 可 能 比 今天 的 强大 数 倍 甚 至 上 千 倍 ， 我 们 现在 所 
拥有 的 知识 较 之 明天 可 能 就 显得 微不足道 了 。 要 不 了 多 久 ， 当 我 们 回 看 当今 
的 大 数据 世界 时 ,就 像 在 看 阿波 罗 11 号 上 仅 4Kb 内 存 的 导航 控制 计算 机 一 样 ， 
会 觉得 十 分 奇特 。 


我 们 能 收集 和 处 理 的 数据 只 是 世界 上 极其 微小 的 一 部 分 。 这 些 信 息 不 过 
是 现实 的 投影 、 柏 拉 图 洞穴 上 的 阴影 轻 了 。 因 为 我 们 无 法 获得 完美 的 信息 ， 
所 以 做 出 的 预测 本 和 喘 就 不 可 靠 。 但 这 也 不 代表 预测 就 一 定 是 错 的 ， 只 是 永远 
不 能 做 到 完善 。 这 也 并 未 否定 大 数据 的 判断 ， 而 只 是 让 大 数据 发 挥 出 了 应 有 
的 作用 。 大 数据 提供 的 不 是 最 终 答案 ， 只 是 参考 答案 ， 为 我 们 提供 暂时 的 帮 
助 ， 以 便 等 待 更 好 的 方法 和 答案 出 现 。 这 也 提醒 我 们 在 使 用 这 个 工具 的 时 候 ， 
MAMARIL GO, HWA EZE., 
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Amat 
宽带 资本 董事 长 

《大 数据 时 代 》 是 我 看 到 的 最 好 的 大 数据 著作 ， 不 管 
对 于 产业 实践 者 ， 还 是 对 于 政府 和 公众 机 构 ， 都 是 非常 具 
有 价值 的 。 只 要 我 们 以 开放 的 心态 、 创 新 的 勇气 拥抱 大 
数据 时 代 ”， 就 一 定 会 抓 住 历史 赋予 中 国 创新 的 机 会 。 


张亚勤 
微软 全 球 资深 副 总 裁 ， 微 软 亚太 研发 集团 主席 

正如 迈 尔 一 省 恩 伯 格 教授 认为 的 ， 大 数据 要 求人 们 改 
变 对 精确 性 的 苛求 ， 转 而 追求 混杂 性 ， 要 求人 们 改变 对 
因果 天 系 的 退回 ， 转 而 追求 相关 关系。 这 种 思维 的 转变 
将 是 革命 性 的 ， 如 果 企 业 不 能 认识 到 这 一 思维 方式 转变 
的 重要 性 和 迫切 性 ， 将 会 面临 ”数据 鸿沟 ”的 挑战 。 


谢 x 
中 国 互 联网 发 展 的 重要 参与 者 ， 知 名 IT 评论 人 

过 去 几 年 ， 在 大 数据 方面 我 读 过 十 几 本 书 ， 上 百 篇 论 
文 和 和 文章。 相对 而 言 ， 维 克 托 的 《大 数据 时 代 》 是 迄今 为 
止 我 读 过 的 最 好 的 一 本 专著 ， 中 英文 都 算 上 。 此 书 的 一 大 
贡献 就 是 在 大 数据 方兴未艾 、 众 说 纷 绒 的 时 刻 ， 进 一 步 阐 
述 和 厘清 了 大 数据 的 基本 概念 和 特点 ， 这 对 许多 以 为 大 数 
据 就 是 数据 大 的 人 来 说 很 有 帮助 。 


郭 昕 
北京 云 基地 首席 顾问 ， 云 华 时 代 智 能 科技 有 限 公司 董事 长 
大 数据 正 把 我 们 变 成 新 的 物种 。 首 先 ， 大 数据 改变 了 
我 们 的 思维 方式 ， 让 我 们 从 因果 关系 的 串联 思维 变 成 了 相关 
关系 的 并 联 思维 。 其 次 ， 大 数据 改变 了 我 们 的 生产 方式 ， 物 
质 产品 的 生产 退 居 次 位 ， 信 息 产品 的 加 工 将 成 为 主要 的 生产 
活动 。 最 后 ， 大 数据 改变 了 我 们 的 生活 方式 ,我们 的 精神 世 
界 和 物质 世界 都 将 构建 在 大 数据 之 上 。 大 数据 不 仅仅 是 一 门 
技术 ,更 是 一 种 全 新 的 商业 模式 ， 它 与 云 计算 共同 构成 了 下 
一 代 经 济 的 生态 系统 。 一 切 丝 信息 ， 


汪 小 帆 
上 海 交通 大 学 长 江 学 者 特聘 教授 ， 致 远 学 院 常务 副 院 长 

随 着 大 数据 热潮 的 不 断 升温 ， 相 信 今 后 几 年 会 有 更 多 
以 大 数据 为 主题 的 著作 问世 。 《大 数据 时 代 》 这 本 先河 之 
作用 各 种 案例 生动 阐述 了 大 数据 所 带 来 的 变革 ,你 可 以 不 
同意 书 中 的 某 些 观点 ， 但 是 大 数据 所 带 来 的 变革 已 经 开始 
发 生 并 将 继续 深入 。 我 们 需要 共同 面临 的 挑战 是 ， 越 来 越 
大 的 数据 如 何 才能 让 世界 变 得 越 来 越美 丽 ? 


Cunt 





陈 文 光 
清华 大 学 计算 机 科学 与 技术 系 副 主任 、 教 授 

大 数据 无 疑 是 当前 的 热门 话题 ， 对 产业 界 、 学 术 界 和 
教育 界 都 正在 产生 巨大 的 影响 。 然 而 到 底 什 么 是 大 数据 ， 
大 数据 究竟 和 过 去 的 数据 分 析 技 术 有 何 联系 和 不 同 ? 这 又 
是 一 个 各 执 一 词 的 问题 。 本 书 的 角度 非常 独特 而 深入 ， 提 
出 了 不 是 随机 样本 ， 而 是 全 体 数 据 ”不 是 精确 性 ,而 
是 混杂 性 ”不 是 因果 关系 ， 而 是 相关 关系 ”这 样 三 个 关 


于 大 数据 的 鲜明 观点 ， 并 引用 很 多 例子 加 以 说 明 ， 非 常 什 
得 仔细 研读 和 思考 ， 

x ie 

中 国 传媒 大 学 教授 


我 们 生活 在 社会 中 ， 就 不 得 不 同 数据 打交道 。 我 们 也 
是 数据 的 一 部 分 ， 不 论 我 们 想 不 想 与 大 数据 牵扯 到 一 起 ， 
数据 都 会 找到 我 们 ， 覆 盖 我 们 。 大 数据 时 代 已 经 来 临 ， 如 
何 从 海量 数据 中 发 现 知识 ,寻找 隐藏 在 大 数据 中 的 模式 、 
趋势 和 相关 性 ， 揭 示 社 会 现象 与 社会 发 展 规律 ， 以 及 可 能 
的 商业 应 用 前 景 ， 都 需要 我 们 拥有 更 好 的 数据 洞察 力 。 


= oF 

中 国 社 科 院 信 息 化 研究 中 心 秘书 长 ，《 互 联网 周刊 》 主 纺 
维克托 认为 大 数据 将 使 人 们 从 对 因果 关系 的 渴求 转向 

关注 相关 关系 ， 这 是 对 人 类 关系 结构 变 音 的 深刻 洞察 。 因 

果 关 系 通 向 金字 塔 的 建立 ， 相 关 关 系 通 向 扁平 化 的 实现 ， 

大 数据 由 此 将 市 来 对 人 的 重新 认识 ,不 是 在 阿波 罗 神 庙 ， 

而 是 在 小 世界 网 络 中 ”认识 你 自己 。 


何 刚 
《财经 》 杂 志 执 行 主编 ，《 哈 佛 商业 评论 》 中 文 版 主编 

大 数据 时 代 已 经 来 临 ， 先 知 、 先 党 、 先 行 和 先 试 者 既 
可 能 率先 受益 ， 也 可 能 率先 迷失 ， 关 键 在 于 能 否 看 清 创新 方 
向 并 找到 应 用 模式 。 本 书 最 突出 的 价值 ， 就 在 于 其 对 商业 实 
践 的 跟踪 与 建议 。 即 使 作者 的 一 些 预 见 在 未 来 也 许 会 落空 ， 
其 大 胆 探索 大 数据 商业 应 用 的 努力 ， 仍 然 值 得 敦 励 . 


谢 这 
微软 亚洲 研究 院 主管 研究 员 

当 人 们 还 在 沉浸 于 讨论 多 大 规模 的 数据 才 是 ”大 数据 
时 ， 本 书 就 ”大 数据 时 代 ”将 对 人 类 社会 带 来 的 革命 性 影响 
进行 了 深刻 的 分 析 。 正 如 书 中 所 述 ， 大 数据 ”的 本 质 是 思 
维 、 商 业 和 管理 领域 前 所 未 有 的 大 变革 。 领衔 翻 译本 书 的 周 
涛 教授 是 国内 六 数据 和 网 络 科学 领域 的 青年 领军 人 物 ， 相 信 
对 不 同 层 次 的 读者 都 会 神 益 匪 浅 ， 
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